python如何处理大型json文件

这篇文章主要为大家展示了"python如何处理大型json文件"，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下"python如何处理大型json文件"这篇文章吧。

如图所示，要处理的数据是一个json数组，而且非常大

下图为电脑配置，使用 json.load() 方法加载上述json文件电脑直接卡死

解决思路：

　　　　先用python进行预处理，即一整个json数据加载慢，那就分开加载，每次加载一个json对象，然后使用 json.dumps()方法 存储到txt中，方便读取。当然也可以存储到内存中，根据情况而定。

　　　　算法思想：因为 json 是一种结构化的数据，所以 {} 是成对存在的。因为使用逐行读取的方法读入json文件，所以根据 {} 的数量来判断是否读取了一个完整的json对象，如果是完整的，则使用 json.dumps()方法 存储到txt中。

　　　　getUsefullData(temp + line,id)这个方法是提取自己需要的数据

def jsonProcess(fileName,round):    id = 1    with open(fileName, 'r', encoding='utf-8') as f,open('../tempData/tempFile'+str(round)+'.txt','w') as tempFile:        line = f.readline()        line = f.readline()        temp = ''        khNum = 0        id = 1        while line:            # print(line)            if line.find('{') != -1:                khNum += 1                if line.find('}') != -1:                khNum -= 1                if khNum == 0:                line = line.replace(',','')                data = getUsefullData(temp + line,id)                id += 1                if len(data) > 1:                    # print(data)                    try:                        tempFile.write(json.dumps(data)+'\n')                    except 'json.decoder.JSONDecodeError':                        break                temp = ''                line = f.readline()                continue            temp += line            line = f.readline()

　　　　　　读取方法：

with open('../tempData/tempFile'+str(round)+'.txt') as f:        dataList = f.readlines()        # 解析保存好的list        for data in dataList:            data = json.loads(data)

以上是"python如何处理大型json文件"这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注行业资讯频道！