千家信息网

hadoop怎样用copyFromLocalFile或create上传文件到linux 0字节

发表于:2024-11-17 作者:千家信息网编辑
千家信息网最后更新 2024年11月17日,hadoop怎样用copyFromLocalFile或create上传文件到linux 0字节,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行
千家信息网最后更新 2024年11月17日hadoop怎样用copyFromLocalFile或create上传文件到linux 0字节

hadoop怎样用copyFromLocalFile或create上传文件到linux 0字节,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

报错如下:

org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /aa/lidunhui.jpg could only be replicated to 0 nodes instead of minReplication (=1).  There are 0 datanode(s) running and no node(s) are excluded in this operation.    at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget(BlockManager.java:1441)    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2702)    at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:584)    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:440)    at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)    at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:585)    at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:928)    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2013)    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2009)    at java.security.AccessController.doPrivileged(Native Method)    at javax.security.auth.Subject.doAs(Subject.java:415)    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1556)    at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2007)    at org.apache.hadoop.ipc.Client.call(Client.java:1410)    at org.apache.hadoop.ipc.Client.call(Client.java:1363)    at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206)    at com.sun.proxy.$Proxy13.addBlock(Unknown Source)    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)    at java.lang.reflect.Method.invoke(Method.java:606)    at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:190)    at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:103)    at com.sun.proxy.$Proxy13.addBlock(Unknown Source)    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.addBlock(ClientNamenodeProtocolTranslatorPB.java:361)    at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.locateFollowingBlock(DFSOutputStream.java:1439)    at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1261)    at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:525)

解决办法:

格式化namenode(是对namenode进行初始化)
hdfs namenode -format (hadoop namenode -format)

关于hadoop怎样用copyFromLocalFile或create上传文件到linux 0字节问题的解答就分享到这里了,希望以上内容可以对大家有一定的帮助,如果你还有很多疑惑没有解开,可以关注行业资讯频道了解更多相关知识。

0