如何理解ApacheMesos模块间通信架构
这篇文章给大家介绍如何理解Apache Mesos模块间通信架构,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。
成都创新互联公司专注于临汾网站建设服务及定制,我们拥有丰富的企业做网站经验。 热诚为您提供临汾营销型网站建设,临汾网站制作、临汾网页设计、临汾网站官网定制、微信平台小程序开发服务,打造临汾网络公司原创品牌,更为您提供临汾网站排名全网营销落地服务。
1. 介绍
Mesos主要由四种组件组成,分别是mesos-master,mesos-save,scheduler和Executor,各个组件之间采用了基于protocal buffer的actor model进行通信(采用开源库libprocess)。也就是说,各个模块分别是一个server(实际上是socket server),分别监听来自其他模块的消息,一旦收到某个消息后,便会调用相应的消息处理函数进行处理。
2. 通信框架概述
对于某个计算框架(如Hadoop,Spark等),如果想接入Mesos,需要编写两个组件,分别是FrameworkSchduler和 FrameworkExecutor,这两个组件分别实现Scheduler和Executor接口,并分别通过SchedulerDriver和 ExecutorDriver接入Mesos,如图中黑色虚线,表示这几个组件之间通过函数调用产生关系。
其他组件,即mesos-master,mesos-save,SchedulerProcess和ExecutorProcess之间则通过消息机制进行通信(使用libprocess开源库)。
(1)【SchedulerProcess与mesos-master】:mesos-master为各个framework分配资源,这些资源直 接传递给SchedulerProcess,再由SchedulerProcess调用 FrameworkScheduler的相关函数,由FrameworkScheduler将这些资源分配给框架中的任务,并返回给mesos- master,由mesos-master转发给相应的mesos-slave。
(2)【SchedulerProcess与Mesos-slave】:如果SchedulerProcess中保存了Mesos-slave的地址,则直接将相关消息发送给Mesos-slave,不必再由mesos-master转发。
(3)【Mesos-master与Mesos-slave】:Mesos-master管理mesos-slave,如监控slave的健康状况等
(4)【Mesos-slave与ExecutorProcess】:Mesos-slave负责管理各个framework的executor,并为executor分配资源等。
具体如下图所示。
3. 消息类型及其处理函数
3.1 Mesos-Slave的消息类型及处理函数
3.2 Mesos-master的消息类型及处理函数
3.3 scheduler的消息类型及处理函数
位于sched/sched.cpp中,由SchedulerProcess/MesosSchedulerDriver实现
3.4 Executor的消息类型及处理函数
位于文件exec/exec.cpp中,由ExectorProcess中实现
关于如何理解Apache Mesos模块间通信架构就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。
分享题目:如何理解ApacheMesos模块间通信架构
链接分享:http://pwwzsj.com/article/jjiijh.html