python爬虫实例之怎么快速响应服务器
这篇文章给大家分享的是有关python爬虫实例之怎么快速响应服务器的内容。小编觉得挺实用的,因此分享给大家做个参考。一起跟随小编过来看看吧。
为企业提供网站设计、成都网站制作、网站优化、成都营销网站建设、竞价托管、品牌运营等营销获客服务。成都创新互联拥有网络营销运营团队,以丰富的互联网营销经验助力企业精准获客,真正落地解决中小企业营销获客难题,做到“让获客更简单”。自创立至今,成功用技术实力解决了企业“网站建设、网络品牌塑造、网络营销”三大难题,同时降低了营销成本,提高了有效客户转化率,获得了众多企业客户的高度认可!
requests之所以称为“HTTP for human”,因为其封装层次很高,其中一处体现就在:requests会自动处理服务器响应的重定向。我在做搜狗微信公众号抓取的时候,搜狗搜索列表页面的公众号文章地址,其实不是微信的地址而需要请求到搜狗到服务器做重定向,而requests的默认处理则是将整个过程全部搞定,对此可以这样:
In [1]: r = requests.get('http://xlzd.me', allow_redirects=False)
allow_redirects参数为False则表示不会主动重定向。
另外,有时候对方网站的响应时间太长了,我们希望在指定时间内完事,或者直接停止这个请求,这时候的做法是:
In [1]: r = requests.get('http://xlzd.me', timeout=3)
timeout表示这次请求最长我最长只等待多少秒
拓展:
为requests套上一层代理的做法也非常简单:
import requests proxies = { "http": "http://192.168.31.1:3128", "https": "http://10.10.1.10:1080", } requests.get("http://xlzd.me", proxies=proxies)
感谢各位的阅读!关于python爬虫实例之怎么快速响应服务器就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到吧!
新闻标题:python爬虫实例之怎么快速响应服务器
当前URL:http://pwwzsj.com/article/gdgdpi.html