千家信息网

Hadoop无法上传文件查找原因

发表于:2025-02-01 作者:千家信息网编辑
千家信息网最后更新 2025年02月01日,部署了集群,上传测试文件到HDFS文件系统的时候出现问题。could only be replicated to 0 nodes, instead of 1,如下图所示:度娘寻找解决方案:博客链接:h
千家信息网最后更新 2025年02月01日Hadoop无法上传文件查找原因

部署了集群,上传测试文件到HDFS文件系统的时候出现问题。could only be replicated to 0 nodes, instead of 1,如下图所示:


度娘寻找解决方案:

博客链接:http://www.cnblogs.com/linjiqin/archive/2013/03/13/2957310.html

该博客指出,该产生该异常的原因如下:

1.系统或hdfs是否有足够的空间

这个肯定是有的,测试数据,才几十KB,可以用hadoop dfsadmin -report查看报告,也可以直接去web查看大小。localhost:50070

2.datanode数是否正常

主节点Namenode、JobTracker等进程都在,所有的从节点均有Datanode、TaskTracker进程,所以应该排除

3.是否在safemode

Web上可以看见safemode off,表明安全模式关闭。如果非要用命令查看,可以使用dfsadmin -safemode get 查看是否开启安全模式。如果是安全模式,可以用dfsadmin -safemode leave强制离开安全模式。

4.防火墙是否关闭

ubuntu上关闭防火墙的命令是ufw disabled,我的集群早就关闭了。

5.关闭hadoop、格式化、重启hadoop

没有办法的办法,但是非常抱歉,对于我的问题没有起到任何作用。


最终的解决方案:

原来是自己学艺不精,linux没有学扎实,这么常见的错误我都没看穿。hadoop所在的目录已经快用完空间了,所以报这个错误,我修改了core-site.xml中DFS的地址,指向了有多余空间的目录,重新格式化HDFS,跑案例,成功。

总结:

很多时候错误其实并不是我们目前所关注的问题,在于很小很细微的细节,自己的锅,接好咯~


安全 模式 空间 错误 问题 文件 办法 博客 命令 方案 时候 格式 目录 系统 节点 解决方案 进程 防火墙 集群 测试 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 时间格式写入数据库int 用宝塔怎么看数据库端口 大学网络技术社团社 华为液冷服务器 数据库收回用户授权语句 手机控制汽车app软件开发 鸿蒙系统升级连接服务器失败 app系统软件开发方案费用 惠普的数据库服务器在什么位置 软件开发加班好吗 mysql数据库丢失 梦幻西游大唐官府服务器什么时候开的 魔兽怀旧服服务器里有哪些 软件开发项目组主管 类似宗益堂软件开发 软件开发思维与用户思维 本网站服务器架设 visio数据库形状在哪 工业能源管理系统软件开发服务 php 数据库中插入数据 db2 查看当前数据库 球球大作战体验度服务器神游 软件开发的前期工作 华为云服务器设置密码 公安部网络安全保卫局信息中心 梦幻西游大唐官府服务器什么时候开的 加强网络安全和信息保护 dread hunger服务器前端 服务器的地址是什么 魔兽世界转服务器可以带多少钱
0