Python中怎么抓取抖音app热点数据

这篇文章给大家介绍Python中怎么抓取抖音app热点数据,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。

创新互联专注于中大型企业的成都网站建设、成都做网站和网站改版、网站营销服务,追求商业策划与数据分析、创意艺术与技术开发的融合,累计客户千余家,服务满意度达97%。帮助广大客户顺利对接上互联网浪潮,准确优选出符合自己需要的互联网运用,我们将一直专注品牌网站设计和互联网程序开发,在前进的路上,与客户一起成长!

首先我们要安装charles抓包APP数据,它是一款收费的抓包修改工具,易上手,数据请求容易控制,修改简单,抓取数据的开始暂停方便等优势,网上也有汉化版,下载地址为http://www.zdfans.com/html/42074.html,一路默认安装就ok了。

安装完成后要设置代理,依次点击代理——代理设置。

Python中怎么抓取抖音app热点数据

然后在手机端设置代理,如下图所示:

Python中怎么抓取抖音app热点数据

在保证手机和电脑在同一局域网的情况下,代理服务器主机名设为电脑的ip地址,端口设为8888。

最后在电脑端和手机端分别安装证书。

电脑端安装方法:依次点击帮助——ssl代理——安装charles root证书 ,按下图进行安装。

Python中怎么抓取抖音app热点数据

手机端安装方式:帮助——ssl代理——在移动设备或远程浏览器上安装charles root证书。

再在模拟器浏览器中输入chls.pro/ssl,会自动下载手机端证书

最后再手机端依次点击设置——安全——从SD卡安装。

Python中怎么抓取抖音app热点数据

为证书命名,点击确认就安装成功了。

打开charles,然后打开抖音app的热点榜界面,在charles很容易就找到了数据接口,一次就返回了50条数据,如下图所示。

Python中怎么抓取抖音app热点数据

它的url信息如下图所示。

Python中怎么抓取抖音app热点数据

此接口只能返回这一时刻的热点数据,要想返回新的数据,就要变换参数信息,但是App端的数据接口参数都比较复杂,这里我们不再深入分析。

为了解决这一问题,我们可以用appium定时模拟操控手机,然后用mitmproxy把数据拦截下来(关于appium、mitmproxy的简介与安装网上有很多教程,这里不再赘述)

Appium脚本如下图所示:

Python中怎么抓取抖音app热点数据

这个自动化测试脚本比较简单,主要是重复获取热点最新信息。

Mitmproxy脚本如图:

Python中怎么抓取抖音app热点数据

有4点需要注意的地方:

1.用mitmproxy抓包前,先把手机代理ip端口设置为8080,设置方法同上;

2.要想在此脚本运行外置函数,必须加上前两行,要不然会出错;

3.脚本中if url in flow.request.url为数据流判断条件,如果url在该数据流的url请求数据中,则判断该数据为抖音app热点数据;

4.最后在脚本所在路径运行以下程序:

Python中怎么抓取抖音app热点数据

关于Python中怎么抓取抖音app热点数据就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。


网站题目:Python中怎么抓取抖音app热点数据
链接地址:http://pwwzsj.com/article/ihpheh.html