启动hadoop时的提示信息是什么意思
这篇文章主要介绍了启动hadoop时的提示信息是什么意思,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。
#启动hadoop分布式系统(在namenode上运行)start-dfs.sh #输入信息如下:
1。下面这句说明了当前这个命令的功能:启动namenode
Starting namenodes on [namenode.hadoop.ymxx]
2。namenode反馈启动信息,并告诉启动namenode的日志文件存放在哪里
out改成log即是对应的日志文件,冒号 : 前面是目标节点(IP或者机器名),冒号 : 后面是目标节点的反馈信息
namenode.hadoop.ymxx: starting namenode, logging to /cluster/hadoop-2.2.0/logs/hadoop-root-namenode-namenode.hadoop.ymxx.out
3。datanode反馈启动信息,同样告诉启动datanode的日志存放在datanode节点上的哪个目录下(我这里配置了四个datanode节点)
datanode4nodemanager.hadoop.ymxx: starting datanode, logging to /cluster/hadoop-2.2.0/logs/hadoop-root-datanode-datanode4nodemanager.hadoop.ymxx.out datanodenodemanager.hadoop.ymxx: starting datanode, logging to /cluster/hadoop-2.2.0/logs/hadoop-root-datanode-datanodenodemanager.hadoop.ymxx.out datanode2nodemanager.hadoop.ymxx: starting datanode, logging to /cluster/hadoop-2.2.0/logs/hadoop-root-datanode-datanode2nodemanager.hadoop.ymxx.out datanode3nodemanager.hadoop.ymxx: starting datanode, logging to /cluster/hadoop-2.2.0/logs/hadoop-root-datanode-datanode3nodemanager.hadoop.ymxx.out
4。启动secondary namenode
Starting secondary namenodes [secondarynamenode.hadoop.ymxx]
5。seconary namenode反馈启动信息,并告知日志信息
secondarynamenode.hadoop.ymxx: starting secondarynamenode, logging to /cluster/hadoop-2.2.0/logs/hadoop-root-secondarynamenode-secondarynamenode.hadoop.ymxx.out
注:
1。信息里的日志目录是目标节点上的目录,而不是namenode上的目录
2。可以通过jps命令到目标机器上查看,对应的进程有无启动(通常从启动时控制台打印的信息是看不出来有没有启动成功的,必须通过jps去查看有无相关进程)
3。如果发现没有启动,应该立即查看目标节点上的日志文件,分析启动失败的原因
4。这里说明下,网上很多搭建hadoop分布式计算平台的例子都是将NameNode和ResoureManger放在同一台机器上的,所以搭建好了之后,可以在同一台机器上运行start-dfs.sh和start-yarn.sh来启动整个分布式系统,这个做法给人一个错觉仿佛start-dfs.sh,start-yarn.sh都在NameNode上执行了就行了,事实上这是错误的理解方式,start-dfs.sh应该在NameNode所在的机器上执行,而start-yarn.sh应该在ResourceManager所在的机器上执行,这个很重要。我被这个错觉害的很惨,都怪自己没有好好的看官方文档,其实官方文档里说的很清楚:
#翻译下就是:使用下面的命令启动yarn,在被指定为资源管理器的机器上使用yarn这个用户运行#唉,不看文档,盲目跟风活受罪啊Start the YARN with the following command, run on the designated ResourceManager as yarn:[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR start resourcemanager
感谢你能够认真阅读完这篇文章,希望小编分享的"启动hadoop时的提示信息是什么意思"这篇文章对大家有帮助,同时也希望大家多多支持,关注行业资讯频道,更多相关知识等着你来学习!