标注的文件太多了,还有用数据增强工具生成了一票的新数据。在转换或使用训练时候会报错,错误原因是json中语法有问题,这样会中断程序运行,调试造成很大困扰。
检查确实最后有问题,多写了一次
写一个脚本,用于检查文件夹下所有的json文件是否合规,不合规的记录并输出,然后自己改。
import json
import glob
import os
# 获取文件夹中所有的JSON文件
json_files = glob.glob('*.json')
# 创建一个列表来存储存在语法错误的文件名
invalid_files = []
# 遍历所有的JSON文件
for json_file in json_files:
try:
with open(json_file, 'r') as f:
print(json_file)
# 尝试解析JSON文件
data = json.load(f)
except json.JSONDecodeError:
# 如果解析失败,则添加文件名到invalid_files列表
invalid_files.append(json_file)
# 输出有语法错误的JSON文件名
if invalid_files:
print("以下文件存在语法错误:")
for file in invalid_files:
print(os.path.basename(file))
else:
print("所有文件都无语法错误。")