ARTICLE DETAIL

资讯详情

深耕商务建站与企业官网运营的一线实战洞察。

118、RDMA网络监控:使用ibdiagnet与ibnetdiscover

118、RDMA网络监控:使用ibdiagnet与ibnetdiscover 一次深夜的丢包排查凌晨两点,机房告警灯闪烁。客户反馈HPC集群的MPI作业频繁超时,检查应用日志发现RDMA通信偶发重传。我登录管理节点,第一件事就是敲下ibdiagnet——这个命令我闭着眼都能打出来,但每次执行时心里还是会默念一句“别给我报错”。输出结果里,Errors字段赫然显示某个端口的CRC错误计数在增长。顺着ibnetdiscover导出的拓扑图,我定位到一根光模块的链路质量异常。换掉模块后,问题消失。这不是什么高深的技术,但如果没有这两个工具,你可能会在应用层排查到天亮。ibdiagnet:网络健康诊断的瑞士军刀ibdiagnet是Mellanox(现NVIDIA)提供的InfiniBand网络诊断工具,它不像ibstat那样只查本地状态,而是对整个子网管理器管理的网络做全面体检。我习惯在部署新集群或怀疑网络问题时,先跑一遍完整扫描:ibdiagnet-r-lw-c1000这里-r
返回列表
PREV
查看更多资讯
NEXT
返回资讯列表