怎么高效率的保存多个python对象
这篇文章主要介绍“怎么高效率的保存多个python对象”,在日常操作中,相信很多人在怎么高效率的保存多个python对象问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”怎么高效率的保存多个python对象”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!
公司主营业务:成都网站制作、做网站、外贸营销网站建设、移动网站开发等业务。帮助企业客户真正实现互联网宣传,提高企业的竞争能力。成都创新互联公司是一支青春激扬、勤奋敬业、活力青春激扬、勤奋敬业、活力澎湃、和谐高效的团队。公司秉承以“开放、自由、严谨、自律”为核心的企业文化,感谢他们对我们的高要求,感谢他们从不同领域给我们带来的挑战,让我们激情的团队有机会用头脑与智慧不断的给客户带来惊喜。成都创新互联公司推出乳源免费做网站回馈大家。
前言
json文件因其简洁精炼,在网上特别流行,我们写爬虫时经常碰到网站使用json格式传输数据。但是如果要存储的数据有1G,那么读取一个json文件需要一次性读入,这需要占用很大的内存,对电脑压力过大。所以我们需要将数据存储为很多个对象,通过逐行读取方式减轻内存占用压力。所以今天就讲到jsonlines这个库,希望大家能有所收获。
json文件因其简洁精炼,在网上特别流行,我们写爬虫时经常碰到网站使用json格式传输数据。但是如果要存储的数据有1G,那么读取一个json文件需要一次性读入,这需要占用很大的内存,对电脑压力过大。所以我们需要将数据存储为很多个对象,通过逐行读取方式减轻内存占用压力。所以今天就讲到jsonlines这个库,希望大家能有所收获。
jsonlines
每一行都是一个json或python对象
采用utf-8编码
jsonlines库的特性
便捷的open()功能
易于写入
传入文件名和写入方式mode
返回Reader或Writer实例
能被用做上下文管理器
安装
pip install jsonlines
使用方法
jsonlines可以保存python的各种数据类型对象,如列表、字典、数字、元组、集合等等。
例如以python字典类型逐行写入到jsonl文件里
import jsonlineswith jsonlines.open('data.jsonl', mode='w') as writer: writer.write({'a':5}) writer.write({'a':6}) writer.write({'a':7})
发现当前工作路径下已经生成了一个jsonl文件。
以逐行的方式读取jsonl文件里的多个字典
with jsonlines.open('data.jsonl', mode='r') as reader: for row in reader: print(type(row), row)
运行
{'a': 5} {'a': 6} {'a': 7}
到此,关于“怎么高效率的保存多个python对象”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注创新互联网站,小编会继续努力为大家带来更多实用的文章!
文章名称:怎么高效率的保存多个python对象
网址分享:http://pwwzsj.com/article/piphij.html