千家信息网

Taishan服务器装centos7.6系统部署ceph服务出现的慢请求

发表于:2024-11-23 作者:千家信息网编辑
千家信息网最后更新 2024年11月23日,近期,公司云要适配Taishan服务器,于是在服务器上部署了ceph,用来跑储存,但是在使用ceph上传快文件时,ceph出现大量的慢请求,导致ceph集群用不了,但是,使用对象存储和文件系统,未出现
千家信息网最后更新 2024年11月23日Taishan服务器装centos7.6系统部署ceph服务出现的慢请求

近期,公司云要适配Taishan服务器,于是在服务器上部署了ceph,用来跑储存,但是在使用ceph上传快文件时,ceph出现大量的慢请求,导致ceph集群用不了,但是,使用对象存储和文件系统,未出现以上情况,于是在服务器上使用dmesg命令查看,出现一下问题:

对于这个问题,在网上找到信息,需要升级hns3网卡驱动,才能解决这个问题。由于
升级教程

  1. 编辑模块配置
    echo 'blacklist hns_roce_hw_v2' >> /usr/lib/modprobe.d/dist-blacklist.confecho 'balcklist hns_roce' >> /usr/lib/modprobe.d/dist-blacklist.conf

    这一步骤的目的是为了禁用roce
    2.重启
    3.下载网卡驱动

    这里需要到华为官网下载

    4.卸载hns3模块

    rmmod hns3#如果没有前面内核禁用roce,会导致在下载网卡模块时,出现死机的情况

    5.在驱动文件中执行install.sh
    6.安装网卡包

yum -y install NIC-hisi_eth-CentOS7.6-hns3-1.0.1-1-aarch74.rpm#上一步执行install.sh就是安装这下rpm包,但是在实际操作过程中,发现安装过程中没有将NIC-hisi_eth-CentOS7.6-hns3-1.0.1-1-aarch74.rpm包安装,所以这里单独提出来

7.重启
结论
Taishan服务器与centos7.6系统中hns3模块兼容性不太好,导致在Taishan服务器上部署centos7.6跑ceph集群在rbd命令导入文件时,出现的慢请求,这是cengos7.6在Taishan服务器上的一个bug。升级网卡之后,ceph的三层包和四层报未出现错误。

0