Hadoop命令的使用分析
这篇文章给大家介绍Hadoop命令的使用分析，内容非常详细，感兴趣的小伙伴们可以参考借鉴，希望对大家能有所帮助。
Hadoop命令
所有的hadoop命令均由bin/hadoop脚本引发。不指定参数运行hadoop脚本会打印所有命令的描述。
用法：hadoop[--configconfdir][COMMAND][GENERIC_OPTIONS][COMMAND_OPTIONS]
Hadoop有一个选项解析框架用于解析一般的选项和运行类。
命令选项描述
--configconfdir覆盖缺省配置目录。缺省是${HADOOP_HOME}/conf。
GENERIC_OPTIONS多个命令都支持的通用选项。
COMMAND
命令选项S各种各样的命令和它们的选项会在下面提到。这些命令被分为用户命令管理命令两组。
Hadoop命令常规选项
下面的选项被dfsadmin,fs,fsck和job支持。应用程序要实现Tool来支持常规选项。
GENERIC_OPTION描述
-conf
-D
-fs
-jt
-files<逗号分隔的文件列表>指定要拷贝到mapreduce集群的文件的逗号分隔的列表。只适用于job。
-libjars<逗号分隔的jar列表>指定要包含到classpath中的jar文件的逗号分隔的列表。只适用于job。
-archives<逗号分隔的archive列表>指定要被解压到计算节点上的档案文件的逗号分割的列表。只适用于job。
用户命令
hadoop集群用户的常用命令。
archive
创建一个hadoop档案文件。参考HadoopArchives.
用法：hadooparchive-archiveNameNAME
命令选项描述
-archiveNameNAME要创建的档案的名字。
src文件系统的路径名，和通常含正则表达的一样。
dest保存档案文件的目标目录。
distcp
Hadoop命令distcp用于递归地拷贝文件或目录。参考DistCp指南以获取等多信息。
用法：hadoopdistcp
命令选项描述
srcurl源Url
desturl目标Url
fs
用法：hadoopfs[GENERIC_OPTIONS][COMMAND_OPTIONS]
运行一个常规的文件系统客户端。
各种命令选项可以参考HDFSShell指南。
fsck
Hadoop命令主要用来运行HDFS文件系统检查工具。参考Fsck了解更多。
用法：hadoopfsck[GENERIC_OPTIONS]
命令选项描述
-move移动受损文件到/lost+found
-delete删除受损文件。
-openforwrite打印出写打开的文件。
-files打印出正被检查的文件。
-blocks打印出块信息报告。
-locations打印出每个块的位置信息。
-racks打印出data-node的网络拓扑结构。
jar
Hadoop命令主要用来运行jar文件。用户可以把他们的MapReduce代码捆绑到jar文件中，使用这个命令执行。
用法：hadoopjar
streaming作业是通过这个命令执行的。参考Streamingexamples中的例子。
Wordcount例子也是通过jar命令运行的。参考Wordcountexample。
job
用于和MapReduce作业交互和命令。
用法：hadoopjob[GENERIC_OPTIONS][-submit
命令选项描述
-submit
-status
-counter
-kill
-events
-history[all]
-list[all]-listall显示所有作业。-list只显示将要完成的作业。
-kill-task
-fail-task
关于Hadoop命令的使用分析就分享到这里了，希望以上内容可以对大家有一定的帮助，可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到。
