scrapy中如何设置应用cookies的方法(3种)-创新互联
本人是python3.6
创新互联-专业网站定制、快速模板网站建设、高性价比十堰网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式十堰网站制作公司更省心,省钱,快速模板网站建设找我们,业务覆盖十堰地区。费用合理售后完善,10多年实体公司更值得信赖。总的来说,scrapy框架中设置cookie有三种方式。
第一种:setting文件中设置cookie
当COOKIES_ENABLED是注释的时候scrapy默认没有开启cookie
当COOKIES_ENABLED没有注释设置为False的时候scrapy默认使用了settings里面的cookie
当COOKIES_ENABLED设置为True的时候scrapy就会把settings的cookie关掉,使用自定义cookie
所以当我使用settings的cookie的时候,又把COOKIES_ENABLED设置为True,scrapy就会把settings的cookie关闭,
而且我也没使用自定义cookie,导致整个请求根本没有cookie,导致获取页面失败。
总结:
如果使用自定义cookie就把COOKIES_ENABLED设置为True
如果使用settings的cookie就把COOKIES_ENABLED设置为False
第二种:middlewares中设置cookie
在middlewares中的downloadermiddleware中的process_request中配置cookie,配置如下:
request.cookies={ '':'', '':'', }
本文题目:scrapy中如何设置应用cookies的方法(3种)-创新互联
文章源于:http://pwwzsj.com/article/coidjj.html