Python知识点——高维数据的格式化

常用JSON格式对高维数据进行表达和存储：

常见的高维数据最典型的例子：<key,value>键值对

JSON格式表达键值对<key, value>的基本格式如下，键值对都保存在双引号中：

"key" : "value"

Json库

dumps()和loads()分别对应编码和解码功能

函数	描述
json.dumps(obj,sort_keys=False,indent=None)	将Python的数据类型转换为JSON格式，编码过程
json.loads(string)	将JSON格式字符串转换为Python的数据类型，解码过程
json.dump(obj, fp, sort_keys=False, indent=None)	与dumps()功能一致，输出到文件fp
json.load(fp)	与loads()功能一致，从文件fp读入

常见参数的含义

sort_keys：一个布尔值，表示是否按照键的顺序对字典进行排序。如果设置为 True，生成的 JSON 字符串会按照键的字母顺序排列；默认为 False。

indent：一个整数或者字符串，用于指定生成的 JSON 字符串的缩进格式。如果是一个整数，表示每一级的缩进空格数；如果是一个字符串（比如 '\t'），表示使用指定的字符串作为缩进。如果设置为 None（默认值），则表示不使用缩进，生成的 JSON 字符串会是单行的形式。

skipkeys：一个布尔值，表示是否跳过那些非字符串类型的键。如果设置为 True，在转换字典为 JSON 字符串时，如果字典的键不是字符串类型，会跳过这些键；默认为 False。

ensure_ascii：一个布尔值，表示是否确保生成的 JSON 字符串中只包含 ASCII 字符。如果设置为 False，生成的 JSON 字符串可以包含非 ASCII 字符；默认为 True。

separators：一个元组，用于指定生成的 JSON 字符串中的分隔符。默认为 (',' , ':')，表示键值对之间用逗号分隔，键和值之间用冒号分隔。

举例

import json

data = {'name': 'Alice', 'age': 30, 'city': 'New York'}

# 将字典转换为 JSON 字符串，不排序键，不缩进
json_str1 = json.dumps(data, sort_keys=False, indent=None)

# 将字典转换为 JSON 字符串，排序键，使用4个空格作为缩进
json_str2 = json.dumps(data, sort_keys=True, indent=4)

# 将字典转换为 JSON 字符串，跳过非字符串类型的键，确保生成的 JSON 字符串中只包含 ASCII 字符
json_str3 = json.dumps(data, skipkeys=True, ensure_ascii=True)

print(json_str1)
print(json_str2)
print(json_str3)

注：s1和s2分别代表了按不同方式生成的 JSON 字符串，所以是不同的

>>>dt = {'b':2,'c':4,'a':6}
>>>s1 = json.dumps(dt)  #dumps返回JSON格式的字符串类型
>>>s2 = json.dumps(dt,sort_keys=True,indent=4)
>>>print(s1)
{"c": 4, "a": 6, "b": 2}
>>>print(s2)
{
    "a": 6,
    "b": 2,
    "c": 4
}
>>>print(s1==s2)
False
>>>dt2 = json.loads(s2)
>>>print(dt2, type(dt2))
{'c': 4, 'a': 6, 'b': 2} <class 'dict'>

CSV与JSON格式相互转换

将CSV转换成JSON格式

链接：https://pan.baidu.com/s/1CV6OkG8bc36ppPf8D7GjJw
提取码：hnlq

import json
fr = open("price2016.csv", "r")
ls = []
for line in fr:
    line = line.replace("\n","")
    ls.append(line.split(','))
fr.close()
fw = open("price2016.json", "w")
for i in range(1,len(ls)):
    ls[i] = dict(zip(ls[0], ls[i]))
json.dump(ls[1:],fw, sort_keys=True, indent=4)
fw.close()

将二维JSON格式数据转换成CSV格式

链接：https://pan.baidu.com/s/1yxE4gdjaym4jupvWk1EnKA
提取码：5oz1

import json
fr = open("D:\\price2016.json", "r",encoding="utf-8")
ls = json.load(fr)
data = [ list(ls[0].keys()) ]
for item in ls:
    data.append(list(item.values()))
fr.close()
fw = open("D:\\price2016_from_json.csv", "w",encoding="utf-8")
for item in data:
    fw.write(",".join(item) + "\n")
fw.close()

注：打开json文件和写入csv文件时一定要加入encoding="utf-8"，否则会报