SAN 存储光纤不稳定导致系统服务缓慢

Question

症状

某系统突然出现提供服务缓慢的症状，通过查看日志发现系统在读写 message queue 时耗时 似乎 非常严重。

原因分析

最开始真的以为是进程间读写 message queue 的速度变慢了，但是一直找不到变慢的原因。系统资源监控也没有任何问题。

直到随手敲了一个 errpt 命令才发现系统报了许多硬件临时故障。SAN 存储光纤一直不稳定导致 写日志这个动作本身耗时特别严重，而我们在读写 message queue 前恰恰需要先记录日志。 这就导致从日志记录的读写时间来看似乎是读写 message queue 耗时严重。