千家信息网

namenode gc故障及解决办法记录

发表于:2024-11-14 作者:千家信息网编辑
千家信息网最后更新 2024年11月14日,问题:WARN org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager: Waited 19016 ms (timeout=20000
千家信息网最后更新 2024年11月14日namenode gc故障及解决办法记录

问题:
WARN org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager: Waited 19016 ms (timeout=20000 ms) for a response for sendEdits. Succeeded so far: [10.80.248.17:8486]

namenode gc overhead limit exceeded
原因:
1,网络原因-检查正常,如果延误可设置 hdfs-site.xml dfs.qjournal.write-txns.timeout.ms=60000
2,JVM GC的原因,分析可能集群运行久了,元数据信息增长导致超过内存配置,一般JVM都有内存限制;
查找发现 默认namenode内存的大小为1000M
修改:hadoop-env.sh
export HADOOP_HEAPSIZE=20
启动namenode正常使用。

0