千家信息网

Hadoop内核调整

发表于:2025-01-28 作者:千家信息网编辑
千家信息网最后更新 2025年01月28日,【vm.swappiness】设置为0,指示内核不交换应用数据到磁盘。如果磁盘正在执行其他I/O操作,将Hadoop守护进程的数据交换到磁盘可能导致操作超时从而有可能失败。对于HBase来说,由于HB
千家信息网最后更新 2025年01月28日Hadoop内核调整

【vm.swappiness】

设置为0,指示内核不交换应用数据到磁盘。

如果磁盘正在执行其他I/O操作,将Hadoop守护进程的数据交换到磁盘可能导致操作超时从而有可能失败。对于HBase来说,由于HBase的Server必须保持与ZooKeeper通信,否则它们会被标记为失败。


【vm.overcommit_memory】

考虑java子任务分叉时,在exec前的瞬间所占的内存将使用两倍内存。将vm.overcommit_memory的值设置为1,并相应地调整vm.overcommit_ratio参数。

0