Yarn架构
发表于:2024-10-23 作者:千家信息网编辑
千家信息网最后更新 2024年10月23日,Yarn是为了解决MRv1中JobTracker负载过重,而设计的第二代MR运行架构。yarn是个master/slave结构,master节点运行Resourcemanager,slave节点运行n
千家信息网最后更新 2024年10月23日Yarn架构
Yarn是为了解决MRv1中JobTracker负载过重,而设计的第二代MR运行架构。
yarn是个master/slave结构,master节点运行Resourcemanager,slave节点运行nodemanager。
- RM主要有两个组件:资源调度器(scheduler)和应用程序管理器(Applications Manager)
scheduler主要进行资源调度,不进行任何与应用程序相关的动作,主要包括Capacity Scheduler和Fair scheduler。
ASM:主要负责提交、启动以及监控每个application的application master - AM
每个作业都有一个application master来监控和管理自己的所有任务,具备的功能包括:
a,与RM交互获取任务运行的资源;
b,与NM交互提交任务、监控任务运行情况等 - NM
一般集群中每个节点启动一个NM,NM不但向RM发送心跳,汇报本节点的资源使用情况;并与AM交互,接收并处理来自AM的所有关于container的请求。 - container
一个逻辑概念,抽象的资源表示形式,可以代表一组多维度资源,目前yarn主要支持cpu和内存。
yarn工作流程
向yarn提交一个应用程序后,yarn主要分为两个步骤:第一步先启动application master;第二步由AM启动并监控本application中的所有任务,直到完成。
- 向yarn提交应用程序,包含application master程序,以及启动am的命令;
- RM为AM分配一个container,并与NM通信启动container来运行这个AM(这是唯一一个由RM和NM通信启动的container,其它的container都是AM与NM通信启动)
- AM启动之后,主动向RM发送心跳注册自己,此时RM可以监控这个AM,我们可以在yarn web页面上看到这个任务;
- AM轮询方式向RM申请和获取资源;
- AM获取到资源后,与NM通信要求启动任务;
- NM设置任务运行环境,启动任务;
- 各个NM上的任务,不断通过RPC向AM发送心跳,汇报自己的状态和进度;
- 任务全部完成后,AM向RM注销自己。
任务
资源
运行
程序
监控
应用程序
节点
应用
通信
两个
情况
汇报
管理
调度
架构
主动
不断
代表
内存
功能
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
东软服务器
坦克世界怎么看服务器人数
华为云服务器怎么进
家用电脑改服务器电源
收藏一下网络安全手抄报
教学网络技术是
数据库可以直接进行删除吗
火影忍者服务器会消失吗
兴创服务器是什么意思
链接数据库怎么防止乱码
网络技术公司策划书
央视科技互联网广告
网络安全法 统筹规划
易网通网络技术服务
河南云赞信息技术软件开发
网络安全中蜜罐的作用
中汽智能驾驶数据库
中专计算机网络技术试卷
深圳虚拟服务器管理软件
泰拉瑞亚服务器为什么突然石化
配置网络打印机服务器
名将三国通用服务器是什么意思
兴创服务器是什么意思
网络安全意识发声亮剑
你的企业服务器安全吗
ftp文件上传到服务器
华为贵州云软件开发云
代航网络技术有限责任公司
计算机网络技术好的论坛
南京新华互联网科技技术