高可用之裂脑问题

1,282 阅读2分钟

什么是裂脑问题呢?

两个节点互相认为对方已挂掉,然后开始争抢共享资源,结果会导致系统混乱,数据损坏。这就是脑裂问题。

怎么产生的呢?

  • 高可用服务器之间心跳线链路故障,导致无法正常通信。

    • 心跳线坏了(包括断了,老化)。

    • 网卡即相关驱动坏了,IP配置及冲突问题(网卡直连)

    • 心跳线间连接的设备故障(网卡及交换机)

    • 仲裁的机器出问题(采用仲裁的方案)。

  • 高可用服务器对上开启了iptables防火墙阻挡了心跳信息传输。

  • 高可用服务器对上心跳网卡地址等信息配置不正确,导致发送心跳失败。

  • 其他服务器配置不当等原因,如心跳方式不同,心跳广播冲突,软件BUG

解决方案

  • 同时使用串行电缆和以太网电缆连接,同时用两条心跳线路,这样一条线路坏了,另一个还是好的,依然能传送心跳消息。

  • 当检测到裂脑时强行关闭一个心跳节点(这个功能需特殊设备支持,如fence,stonith)。相当于备节点接收不到心跳信息,发送关机命令通过单独的线路关闭主节点电源。

  • 做好对裂脑的监控报警(如邮件及手机短信等),在问题发生时人为的第一时间介入仲裁,降低损失。例如:百度的监控报警短信就有上行和下行的区别。报警信息到管理员手机上,就可以通过回复对应的字符串等操作就可以返回给服务器,让服务器根据指令自动执行处理相关故障

参考文章:http://blog.51cto.com/dadonggg/1948737

实例:裂脑检测脚本:

#!/bin/sh
while true
do
ping -c 2 -W 3 192.168.27.167 &> /dev/null
if[$? -eq 0 -a `ip add|grep 192.168.27.160|wc -l` -eq 1]
  then
    echo "split brain....."
else
    echo "HA is ok"
fi
sleep 5
done

如果能ping通另一个主机,而且本地有vip地址,就是裂脑。