千家信息网

SMART 磁盘监控方案

发表于:2025-01-31 作者:千家信息网编辑
千家信息网最后更新 2025年01月31日,smartctl 命令行的使用.命令行使用说明:目前我们使用的服务器都带有lsi的raid卡,当磁盘为SAS盘时使用smartctl时需要添加: smartctl -d megaraid,$devic
千家信息网最后更新 2025年01月31日SMART 磁盘监控方案

smartctl 命令行的使用.

命令行使用说明:

目前我们使用的服务器都带有lsi的raid卡,当磁盘为SAS盘时使用smartctl时需要添加:

 smartctl -d megaraid,$deviceid  /dev/$diskname


当磁盘为SATA盘时使用smartctl时需要添加:

 smartctl -d sat+megaraid,$deviceid  /dev/$diskname

可以使用raid卡工具来查看磁盘接口类型

    megacli -cfgdsply -aall |grep 'PD TYPE'

若没有使用raid卡则不需要加 -d参数.

命令行返回值

smartctl执行完毕之后可以从$? shell变量中取得返回值,如果磁盘完全正常则返回值为0,否则根据错误类型设置相应的bit位.
各个bit的说明如下:

       Bit 0: Command line did not parse.       Bit 1: Device open failed, device did not return an IDENTIFY DEVICE structure, or device is in a low-power mode (see -n option above).       Bit 2: Some SMART or other ATA command to the disk failed, or there was a checksum error in a SMART data structure (see -b option above).       Bit 3: SMART status check returned "DISK FAILING".       Bit 4: We found prefail Attributes <= threshold.       Bit 5: SMART status check returned "DISK OK" but we found that some (usage or prefail) Attributes have been <= threshold at some time in the past.       Bit 6: The device error log contains records of errors.       Bit 7: The device self-test log contains records of errors.  [ATA only] Failed self-tests outdated by a newer successful extended self-test are ignored.


查看bit设置:

      status=$?       for ((i=0; i<8; i++)); do         echo "Bit $i: $((status & 2**i && 1))"        done

需要重点监控bit3, bit4, bit6, bit7,bit5是否设置,其他位置的设置需要提醒.

smartctl 显示的属性(Attribute)信息:

以公司内的一台服务器为例说明:

[root@datacenter1.rack1.node11 ~]#smartctl -A -P use  /dev/sdbsmartctl 5.42 2011-10-20 r3458 [x86_64-linux-2.6.32-279.el6.x86_64] (local build)Copyright (C) 2002-11 by Bruce Allen, http://smartmontools.sourceforge.net=== START OF READ SMART DATA SECTION ===SMART Attributes Data Structure revision number: 16Vendor Specific SMART Attributes with Thresholds:ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE  1 Raw_Read_Error_Rate     0x000b   086   086   016    Pre-fail  Always       -       10813449  2 Throughput_Performance  0x0005   132   132   054    Pre-fail  Offline      -       105  3 Spin_Up_Time            0x0007   117   117   024    Pre-fail  Always       -       615 (Average 615)  4 Start_Stop_Count        0x0012   100   100   000    Old_age   Always       -       314  5 Reallocated_Sector_Ct   0x0033   100   100   005    Pre-fail  Always       -       0  7 Seek_Error_Rate         0x000b   100   100   067    Pre-fail  Always       -       0  8 Seek_Time_Performance   0x0005   112   112   020    Pre-fail  Offline      -       39  9 Power_On_Hours          0x0012   097   097   000    Old_age   Always       -       23637 10 Spin_Retry_Count        0x0013   100   100   060    Pre-fail  Always       -       0 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       313192 Power-Off_Retract_Count 0x0032   100   100   000    Old_age   Always       -       478193 Load_Cycle_Count        0x0012   100   100   000    Old_age   Always       -       478194 Temperature_Celsius     0x0002   222   222   000    Old_age   Always       -       27 (Min/Max 5/70)196 Reallocated_Event_Count 0x0032   100   100   000    Old_age   Always       -       0197 Current_Pending_Sector  0x0022   100   100   000    Old_age   Always       -       0198 Offline_Uncorrectable   0x0008   100   100   000    Old_age   Offline      -       0199 UDMA_CRC_Error_Count    0x000a   200   200   000    Old_age   Always       -       0

1,首先不同的磁盘厂商提供的ATTRIBUTE_NAME 列表可能不一样,只是S.M.A.R.T属性列表的子集,smart完整的属性列表及其每个属性的含义请参考这里:
http://en.wikipedia.org/wiki/S.M.A.R.T.#8

2,我们需要关注的字段 WHEN_FAILED
WHEN_FAILED字段显示的规则:

  if(VALUE <= THRESH)           WHEN_FAILED = "FAILING_NOW";  else if (WORST <= THRESH)           WHEN_FAILED = "in_the_past"(or past);  else            WHEN_FAILED = "-";


也就说当某个ATTRIBUTE_NAME的WHEN_FAILED字段为"-"时表示这个属性是正常的,也从没发生过异常.

同时当smartctl 命令的返回值的bit4,bit 5设置就可以检查看哪个ATTRIBUTE_NAME为非"-"就表示这个字段出问题了.

简单的smartctl监控方案

针对每块盘没半个小时执行一次smartctl扫描:

smartctl -a  /dev/$devname

每次都要检查smartctl的返回值,
如果返回值的bit2,可以使用smartctl -x -b warn /dev/$devname可以看到不支持哪些命令
Warning: device does not support SCT Data Table command
Warning: device does not support SCT Error Recovery Control command
如果返回值的bit4或者bit5设置,则需要检查smartctl输出中的START OF READ SMART DATA SECTION,即上节所讲的ATTRIBUTE,并记录WHEN_FAILED字段非"-"的ATTRIBUTE_NAME.
如果返回值的bit6设置,记录smartctl -l xerror /dev/$devname 的执行结果.
如果返回值的bit7设置,记录smartctl -l xselftest /dev/$devname 的执行结果.
如果bit3设置表示smart自检失败.

以上的bit除了bit5.其他最好都能实时的发出警报信息,
其他bit如果置位,可以不需要实时的警报.

针对ATTRIBUTE_NAME的一些说明:

由于不同厂商的磁盘提供的ATTRIBUTE_NAME不完全一致, 加上我现在对某些字段的含义理解不够,所以警报信息暂时不按照ATTRIBUTE_NAME来区分.
比如我们比较关注的Throughput_Performance,公司内的日立的磁盘的smart包含有此信息,而希捷的盘没有.
至于需要更细化的监控方案需要对ATTRIBUTE_NAME中的属性有深入的理解再做定夺.

ssd盘的寿命监控

ssd 盘的寿命监控主要监控以下的ATTRIBUTE:

Media_Wearout_Indicator:    使用耗费, 表示SSD上NAND的擦写次数的程度Reallocated_Sector_Ct:     出厂后产生的坏块个数Host_Writes_32MiB:     已写32MiB的个数.Available_Reservd_Space:    SSD上剩余的保留空间。

以上的ATTRIBUTE只要VALUE字段接近THRESH字段的值就需要报警,同样可以使用上边的说明来处理


0