千家信息网

Hadoop中的基本操作有哪些

发表于:2025-02-07 作者:千家信息网编辑
千家信息网最后更新 2025年02月07日,这篇文章主要介绍Hadoop中的基本操作有哪些,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!先粗略说一下"hadoop fs"和"hadoop dfs"的区别:fs是各比较抽象
千家信息网最后更新 2025年02月07日Hadoop中的基本操作有哪些

这篇文章主要介绍Hadoop中的基本操作有哪些,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!

先粗略说一下"hadoop fs"和"hadoop dfs"的区别:fs是各比较抽象的层面,在分布式环境中,fs就是dfs,但在本地环境中,fs是local file system,这个时候dfs不可用。

1、列出HDFS文件:

hadoop fs -ls

a) -ls后面不跟任何内容的话是列出HDFS的"/user/用户名/"目录下的内容

b) 如果要列出某个文件夹中的内容,则-ls后面跟该文件夹的路径,例如列出input中的内容:

hadoop fs -ls input

2、在HDFS中创建文件夹:

hadoop fs -mkdir 文件夹的名字

例如:

hadoop fs -mkdir input

3、删除HDFS中的文件或文件夹

hadoop fs -rmr  文件夹名或者文件名

4、上传文件到HDFS:

hadoop fs -put ~/file test

将本机中的file文件上传到HDFS上并重命名为test。

如果要上传到某个文件夹中,则将test改为文件夹的地址,此时,上传的文件名称不会改变,例如将本地文件

夹test中的文件test1.txt,test2.txt,test3.txt上传到HDFS中的input中:

hadoop fs -put ~/test/test*.txt input

5、查看HDFS下的某个文件:

 hadoop fs -cat 文件路径

例如查看input中的test文件的内容:

hadoop fs -cat input/test

6、将HDFS中的文件复制到本地系统中:

hadoop fs -get HDFS中的文件名本地系统中的文件名 本地存放地址

例如:将HDFS中的output文件复制到本地系统Documents文件夹中

hadoop fs -get output /home/kevin/Documents/

7、进入/退出安全模式

有时,在hadoop启动时不能对文件系统进行如创建文件,删除文件之类的操作,此时,文件系统所处的状 态叫做安全模式,用途大家可以到网上搜一搜,笔者不在这里赘述(由于笔者属于初学者,HDFS上的东西还不多,节点也不多,所以笔者一般开启Hadoop后,不管有没有在安全模式,先输退出安全模式的命令)。

hadoop dfsadmin -safemode enterhadoop dfsadmin -safemode leave

以上是"Hadoop中的基本操作有哪些"这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注行业资讯频道!

文件 文件夹 内容 系统 安全 模式 文件名 笔者 基本操作 地址 环境 篇文章 路径 粗略 一搜 东西 价值 兴趣 分布式 初学者 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 杭州小草网络技术有限公司 2018青岛网络安全大会 嵌入式软件开发能力评估报告 mysql数据库增上改查 网络安全统筹局 监管局 执法局 中国国产数据库市场 北京网络技术信息进口 建立数据库test 幼师网络安全培训心得体会 苹果13激活id无法连接服务器 攀枝花软件开发平均价格 数据库中的传递函数依赖 国货互联网科技 网络安全会议天津 小学生网络安全法视频 高校网络安全技能大赛简报 数据库事务的四大特点 无锡打造智慧社区软件开发 未成年人网络安全 宣传 淄川轻工业软件开发服务 软件开发所用的语言工具 深圳市东邦网络技术有限公司 工作中用到的数据库大多是哪种 福建常规软件开发特征 软件开发的实训总结报告 铜川软件开发厂家价格 怎么看数据库有多少条数据 易语言发送数据库 宏观经济数据库字段 陈酿数据库是谁 老蛮
0