爬虫如何做反爬措施
小编给大家分享一下爬虫如何做反爬措施,希望大家阅读完这篇文章后大所收获,下面让我们一起去探讨方法吧!
创新互联公司是专业的顺城网站建设公司,顺城接单;提供网站设计制作、做网站,网页设计,网站设计,建网站,PHP网站建设等专业做网站服务;采用PHP框架,可快速的进行顺城网站开发网页制作和功能扩展;专业做搜索引擎喜爱的网站,专业的做网站团队,希望更多企业前来合作!
爬虫常见的反爬措施有三种:
1、header头部信息
解决方法:
加User-Agent值:
如果不加header头,部分网站服务器判断不到用户的访问来源,所以会返回一个404错误来告知你是一个爬虫,拒绝访问,解决办法如下:
headers = { 'User-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.56 Safari/537.36' }
这样服务器就会把用户当做浏览器了。
加Referer值
这类反爬网站也很常见,例如美团,仅仅加User-Agnet还是返回错误信息,这时就要把Referer值也加到头部信息中:
这样就会返回正常网页了。
加Host值
根据同源地址判断用户是否为爬虫,解决办法为:
加Accept值
之前遇到过这种网站,我加了一圈header头部信息才成功,最后发现是需要加Accept值,这类反爬措施的解决办法为:
2、限制IP的请求数量
这种就更常见了,大部分网站都有此类反爬措施,也就是说网站服务器会根据某个ip在特定时间内的访问频率来判断是否为爬虫,然后把你把你拉进“黑名单”,素质好的给你返回403或者出来个验证码,素质不好的会给你返回两句脏话。此种情况有两种解决办法:
①降低爬虫请求速率,但是会降低效率;
②添加代理ip,代理ip又分为付费的和不要钱的,前者比较稳定,后者经常断线。
添加格式为:
3、Ajax动态请求加载
这类一般是动态网页,无法直接找到数据接口,以某易新闻网站为例:
我想爬取该网页内的新闻图片,发现它的网页url一直不变,但是下拉网页的时候会一直加载图片,那么我们该怎么办呢?
首先按照开头方式打开流量分析工具
点击左上角“垃圾桶”图标清空缓存,然后下拉新闻网页:
会出现一大堆东西,但是不用慌,我们可以根据类型去寻找,一般图片信息肯定实在html、js或json格式的文件中,一个一个点进去看看,很快就找到了结果:
结果中把callback去掉之后就是个json文件,它的url为:
看完了这篇文章,相信你对爬虫如何做反爬措施有了一定的了解,想了解更多相关知识,欢迎关注创新互联行业资讯频道,感谢各位的阅读!
名称栏目:爬虫如何做反爬措施
文章来源:http://pwwzsj.com/article/jhssce.html