python分布式爬虫中的celery如何使用
这篇文章主要介绍了python分布式爬虫中的celery如何使用,具有一定借鉴价值,需要的朋友可以参考下。希望大家阅读完这篇文章后大有收获。下面让小编带着大家一起了解一下。
创新互联建站专注为客户提供全方位的互联网综合服务,包含不限于网站设计制作、网站设计、黄岛网络推广、小程序开发、黄岛网络营销、黄岛企业策划、黄岛品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等,从售前售中售后,我们都将竭诚为您服务,您的肯定,是我们最大的嘉奖;创新互联建站为所有大学生创业者提供黄岛建站搭建服务,24小时服务热线:18982081108,官方网址:www.cdcxhl.com
1. broker:翻译过来叫做中间人。它是一个消息传输的中间件,可以理解为一个邮箱。每当应用程序调用celery的异步任务的时候,会向broker传递消息,而后celery的worker将会取到消息,执行相应程序。这其实就是消费者和生产者之间的桥梁。
2. backend: 通常程序发送的消息,发完就完了,可能都不知道对方时候接受了。为此,celery实现了一个backend,用于存储这些消息以及celery执行的一些消息和结果。
3. worker: Celery类的实例,作用就是执行各种任务。注意在celery3.1.25后windows是不支持celery worker的!
4. producer: 发送任务,将其传递给broker
5. beat: celery实现的定时任务。可以将其理解为一个producer,因为它也是通过网络调用定时将任务发送给worker执行。注意在windows上celery是不支持定时任务的!
下面是关于celery的架构示意图,结合上面文字的话应该会更好理解
感谢你能够认真阅读完这篇文章,希望小编分享python分布式爬虫中的celery如何使用内容对大家有帮助,同时也希望大家多多支持创新互联,关注创新互联行业资讯频道,遇到问题就找创新互联,详细的解决方法等着你来学习!
文章标题:python分布式爬虫中的celery如何使用
分享链接:http://pwwzsj.com/article/jcpegp.html