python爬虫怎么用json提取评论
这篇文章主要介绍python爬虫怎么用json提取评论,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!
让客户满意是我们工作的目标,不断超越客户的期望值来自于我们对这个行业的热爱。我们立志把好的技术通过有效、简单的方式提供给客户,将通过不懈努力成为客户在信息化领域值得信任、有价值的长期合作伙伴,公司提供的服务项目有:主机域名、雅安服务器托管、营销软件、网站建设、弋阳网站维护、网站推广。
在网上看过移动端的微博数据很好爬,没有异步加载,可是不知道为什么,评论数据就是异步加载的,其实异步加载不可怕,找到相应js包即可,如下图为沈梦辰的一条微博和评论的js包。我们只需请求这个js数据,然后利用json库即可提取我们所需的评论数据。
代码
import requests import json import time import pymongo client = pymongo.MongoClient('localhost', 27017) weibo = client['weibo'] comment_shengmengc = weibo['comment_shengmengc'] headers = { "Cookies":'xxxxxxxxxxx', "User-Agent":'Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1' } url_comment = ['http://m.weibo.cn/api/comments/show?id=4060977869675098&page={}'.format(str(i)) for i in range(0,1000)] def get_comment(url): wb_data = requests.get(url,headers=headers).text data_comment = json.loads(wb_data) try: datas = data_comment['data'] for data in datas: comment = {"comment":data.get("text")} comment_shengmengc.insert_one(comment) except KeyError: pass for url in url_comment: get_comment(url) time.sleep(2)
以上是“python爬虫怎么用json提取评论”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注创新互联行业资讯频道!
本文名称:python爬虫怎么用json提取评论
本文网址:http://pwwzsj.com/article/ipeepp.html