千家信息网

如何理解Mesos的Framework与Executor注册过程

发表于:2024-11-30 作者:千家信息网编辑
千家信息网最后更新 2024年11月30日,如何理解Mesos的Framework与Executor注册过程,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。以Hadoop框架为例
千家信息网最后更新 2024年11月30日如何理解Mesos的Framework与Executor注册过程

如何理解Mesos的Framework与Executor注册过程,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

以Hadoop框架为例,介绍了framework与executor向mesos注册过程。

1. Framework注册过程

(1) JobTracker启动时,会调用MesosScheduler的start()方法

(2) MesosScheduler的start()方法创建一个MesosSchedulerDriver对象,并将自己作为参数传入该对象。

(3) MesosSchedulerDriver初始化,创建一个SchedulerProcess对象

(4) MesosSchedulerDriver初始化,调用MasterDetector::create(),它将向SchedulerProcess对象发送一个NewMasterDetectedMessage消息

(5) SchedulerProcess对象收到NewMasterDetectedMessage消息后,向Master发送一个RegisterFrameworkMessage消息

(6) Master收到该消息后,保存相关信息,并返回FrameworkRegistedMessage消息,确认framework注册成功

2. Executor注册过程

本节描述框架frameworkX在某个slaveX上注册executor executorX的过程:

(1)Master***次向slaveX发送执行frameworkX中task的消息 RunTaskMessage

(2)slave收到该消息后,运行相应的消息处理函数runTask()

(3)该函数发现该slave上未启动frameworkX对应的executorX,则调用IsolationModule的lauchExecutor()函数

(4)该函数创建一个FrameworkExecutor对象,并调用ExecutorProcess的Initialize()函数进行初始化,同时启动TaskTracker

(5)Initialize()函数创建消息RegisterExecutorMessage,并发送给slave

(6)Slave收到该消息后,调用对象的消息处理函数registerExecutor,该函数创建ExecutorRegisteredMessage消息,返回给ExecutorProcess

(7)ExecutorProcess收到该消息后,调用对应的消息处理函数registered(),该函数再进一步调用FrameworkExecutor的registered()函数

接下来,master发送给slave的RunTaskMessage消息依次经过的流程如下图所示。需要注意的是,对于同一个计算框 架,Mesos在一个slave上只会创建一个资源container,所有task全部在这个container里运行,也就是说,mesos无法做到 task级别的隔离,只能做到executor级别的隔离,而对于同一个框架,同一个slave上所有task全部在一个executor中运行。

对于Hadoop而言,每个mesos-slave上只会创建一个TaskTracker,且该TaskTracker会被放置到一个 executor(对应一个linux container)中运行,而同一个TaskTracker上所有task均在该TaskTracker所在进程树中,因而共享该executor对应 的资源。当TaskTracker接收到新的task时,会增加该executor可以使用的资源量(使用"lxc-cgroup –n %s %s %lld"),而当有task运行完成时,则减少该executor可使用的资源量(使用"lxc-cgroup –n %s %s %lld")。

关于如何理解Mesos的Framework与Executor注册过程问题的解答就分享到这里了,希望以上内容可以对大家有一定的帮助,如果你还有很多疑惑没有解开,可以关注行业资讯频道了解更多相关知识。

消息 函数 对象 过程 运行 资源 方法 框架 问题 处理 会创 更多 级别 资源量 帮助 解答 隔离 易行 成功 再进一步 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 山西开源软件开发需求 静安区辅助网络技术协议 违反网络安全法 承担 海西魄嵌网络技术有限公司 网络安全之接入口认证 浙江省大学生ctf网络安全大赛 海南采购管理软件开发公司 网络安全用户授权访问技术 网络安全安全大赛 正版windows服务器系统 山西企业软件开发erp 代码服务器管理工具下载 医院信息科用什么数据库6 计算机网络安全注意措施文章 访问您的数据库时odbc 电脑连接服务器的名称是什么 超星尔雅网络安全技术答案 安徽吾爱网络技术有限公司 网络安全服务能力评定等级 快云数据库有什么区别 希腊的网络安全 常熟口碑好的网络技术什么价格 数据库引擎干嘛的 我的世界里跑酷的服务器 徐汇区推广软件开发价格表格 网络安全保护法漫画解读 网络技术路由与交换实训项目 ps5服务器哪个好 服务器与浏览器相同点 厦门网络安全等级
0