千家信息网

MapReduce提交到Yarn上大体执行流程

发表于:2025-02-02 作者:千家信息网编辑
千家信息网最后更新 2025年02月02日,启动申请提交一个job(wordcount.jar和程序中的配置参数和数据切片规划文件)运行进程为runjarResouceManager 会在一台节点NodeManager上先启动客户提交的word
千家信息网最后更新 2025年02月02日MapReduce提交到Yarn上大体执行流程

  1. 启动申请提交一个job(wordcount.jar和程序中的配置参数和数据切片规划文件)运行进程为runjar

  2. ResouceManager 会在一台节点NodeManager上先启动客户提交的wordcount.jar的主管进程MRAppMasster

  3. 由主管进程(MRAppMasster)根据启动规则启动mapTask任务(yarnChild进程).如果所有mapTask任务运行结束.MRAppMasster进程会启动Reduce Task任务(yarnChild进程)


0