hadoop 异常 Inconsistent checkpoint fields
发表于:2024-09-21 作者:千家信息网编辑
千家信息网最后更新 2024年09月21日,hadoop second namenode异常 Inconsistent checkpoint fields没有访问量情况下,namenode进程:cpu 100% ;内存使用超多;没有错误日志;s
千家信息网最后更新 2024年09月21日hadoop 异常 Inconsistent checkpoint fields
hadoop second namenode异常 Inconsistent checkpoint fields
没有访问量情况下,namenode进程:cpu 100% ;内存使用超多;没有错误日志;
secondarynamenode报错:
java.io.IOException: Inconsistent checkpoint fields.LV = -57 namespaceID = 371613059 cTime = 0 ; clusterId = CID-b8a5f273-515a-434c-87c0-4446d4794c85 ; blockpoolId = BP-1082677108-127.0.0.1-1433842542163.Expecting respectively: -57; 1687946377; 0; CID-603ff285-de5a-41a0-85e8-f033ea1916fc; BP-2591078-127.0.0.1-1433770362761. at org.apache.hadoop.hdfs.server.namenode.CheckpointSignature.validateStorageInfo(CheckpointSignature.java:134) at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.doCheckpoint(SecondaryNameNode.java:531) at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.doWork(SecondaryNameNode.java:395) at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode$1.run(SecondaryNameNode.java:361) at org.apache.hadoop.security.SecurityUtil.doAsLoginUserOrFatal(SecurityUtil.java:411) at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.run(SecondaryNameNode.java:357) at java.lang.Thread.run(Thread.java:662)
造成如上异常的原因很多,其中一个原因为:second namenode的数据目录中的edit log与当前的数据版本不一致导致
解决方法:
手动删除second nodenode目录下的文件,然后重启hadoop:
查询发现second namenode下的edit log竟然是很久以前的:
/opt/hadoop-2.5.1/dfs/tmp/dfs/namesecondary/current
[root@hbase current]# lltotal 116-rw-r--r-- 1 root root 42 Jun 8 2015 edits_0000000000000000001-0000000000000000002-rw-r--r-- 1 root root 8991 Jun 8 2015 edits_0000000000000000003-0000000000000000089-rw-r--r-- 1 root root 4370 Jun 8 2015 edits_0000000000000000090-0000000000000000123-rw-r--r-- 1 root root 3817 Jun 9 2015 edits_0000000000000000124-0000000000000000152-rw-r--r-- 1 root root 2466 Jun 9 2015 edits_0000000000000000153-0000000000000000172-rw-r--r-- 1 root root 2466 Jun 9 2015 edits_0000000000000000173-0000000000000000192-rw-r--r-- 1 root root 2466 Jun 9 2015 edits_0000000000000000193-0000000000000000212-rw-r--r-- 1 root root 2466 Jun 9 2015 edits_0000000000000000213-0000000000000000232-rw-r--r-- 1 root root 2466 Jun 9 2015 edits_0000000000000000233-0000000000000000252-rw-r--r-- 1 root root 2466 Jun 9 2015 edits_0000000000000000253-0000000000000000272-rw-r--r-- 1 root root 2466 Jun 9 2015 edits_0000000000000000273-0000000000000000292-rw-r--r-- 1 root root 2466 Jun 9 2015 edits_0000000000000000293-0000000000000000312-rw-r--r-- 1 root root 2466 Jun 9 2015 edits_0000000000000000313-0000000000000000332-rw-r--r-- 1 root root 2466 Jun 9 2015 edits_0000000000000000333-0000000000000000352-rw-r--r-- 1 root root 2466 Jun 9 2015 edits_0000000000000000353-0000000000000000372-rw-r--r-- 1 root root 2466 Jun 9 2015 edits_0000000000000000373-0000000000000000392-rw-r--r-- 1 root root 2466 Jun 9 2015 edits_0000000000000000393-0000000000000000412-rw-r--r-- 1 root root 6732 Jun 9 2015 edits_0000000000000000413-0000000000000000468-rw-r--r-- 1 root root 4819 Jun 9 2015 edits_0000000000000000469-0000000000000000504-rw-r--r-- 1 root root 2839 Jun 9 2015 fsp_w_picpath_0000000000000000468-rw-r--r-- 1 root root 62 Jun 9 2015 fsp_w_picpath_0000000000000000468.md5-rw-r--r-- 1 root root 2547 Jun 9 2015 fsp_w_picpath_0000000000000000504-rw-r--r-- 1 root root 62 Jun 9 2015 fsp_w_picpath_0000000000000000504.md5-rw-r--r-- 1 root root 199 Jun 9 2015 VERSION
上面的问题解决方法是在配置了hadoop.tmp.dir的情况下,如果没有配置,则无法找到edit log文件,需要进行配置,在hdfs-site.xml或core-site.xml中进行配置;
hadoop.tmp.dir配置参数指定 hdfs的默认临时路径,这个最好配置,如果在新增节点或者其他情况下莫名其妙的DataNode启动不了,就删除此文件中的tmp目录即可。不过如果删除了NameNode机器的此目录,那么就需要重新执行NameNode格式化的命令。
配置
目录
情况
文件
原因
数据
方法
一致
莫名其妙
内存
参数
命令
如上
手动
日志
是在
最好
机器
格式
版本
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
水利网络安全管理办法解读
郑州高新区网络安全科技馆通讯
公安系统如何应用网络技术
sql数据库获取表数据类型
2020年网络安全技术应用
两核两g数据库
网络安全短视频封面
漯河市天气预报软件开发
广东数据库空投箱销售价格
数据库常见指令
数据库意识
数据库技术刘太安
宁海软件开发流程
思科网络技术学院作业答案
河南安卓软件开发价格表
网络安全与信息创新工程
服务器管理员密码更换
德国视觉软件开发平台
绍兴物流软件开发项目
58同城有哪几个服务器
扫黄打非办网络安全课堂系列
南宁网络安全宣传视频创意短片
工控 网络安全
合浦网信办网络安全协调指挥平台
网络安全销售这么难做
软件开发什么大学
机械出版社数据库原理
主流论文数据库
pkpm数据库已到达最大值
v4区是数据库的几到几