怎么进行hadoop性能调优

本篇文章为大家展示了怎么进行hadoop性能调优 ，内容简明扼要并且容易理解，绝对能使你眼前一亮，通过这篇文章的详细介绍希望你能有所收获。

操作系统调优

• 增大同时打开文件描述符和网络连接上限
  操作系统的默认连接数上限为128 (sysctl -a | grep net.core.somaxconn),/etc/sysctl.conf 添加 net.core.somaxconn=32767

  linux默认打开文件描述符数量为183731 ,同样在sysctl.conf中添加fs.file-max=800000
  执行systcl -a 查看 systcl -p来刷新配置

• 关闭swap分区
  在MR分布式环境中.用户完全可以通过控制每个作业处理的数据量和每个任务运行过程中用到的各个缓冲区大小,避免使用swap分区.

• 设置合理的预读取缓冲区大小
  磁盘IO性能滞后于CPU和内存,设置预读可以较少磁盘寻道和应用程序IO等待时间,使用linux blockdev 设置读取缓冲区大小.

• 文件系统配置
  开启linux的noatime属性.(/etc/fstab)

• IO调度器选择
  参考 Hadoop Performance Tuning Guide

Hadoop参数调优

• 磁盘块配置
  以前博文分析shuffle过程已经提过怎么配置 mapreduce.cluster.local.dir 将tmp文件写到其他本地硬盘,可以提升IO

• 选择合适的压缩算法
  mapreduce.map.output.compress=true
mapreduce.map.output.compress.codec=XXCodec

• 修改ifile预读大小
  可以根据项目需求，适当修改预读缓冲区大小mapreduce.ifile.readahead.bytes

应用程序调优

• 设置Combiner

• 增加输入文件的副本数

上述内容就是怎么进行hadoop性能调优 ，你们学到知识或技能了吗？如果还想学到更多技能或者丰富自己的知识储备，欢迎关注行业资讯频道。