Mycat 线上问题排查实战
背景:由于分片字段存储由原来的纯数字变为字母+数字以及数字、纯字母三种混合,准备直接修改分片规则,另外服务器资源配置调整了一下,由原来的16cpu\32G 调整到8cpu\32G,以适应新的业务需求,由原有的mod-long求模法变为sharding-by-murmur 一致性hash 规则,配置好配置文件后,制定了一个简单的切换方案以及启动脚本
在晚上业务低峰期,运维帮忙降低配置后,服务器重启,然后停止业务,我按照之前制定好的切换方案进行切换,最后使用脚本直接一键切换启动
问题来了,服务启动不了,但可以肯定的是这个配置是已经在测试环境验证过的,配置是绝对没有问题,那么最有可能的影响是什么呢,降低配置,然后开始查看打印的启动日志
字面意思是本地主机名未知,开始怀疑是降低服务器配置重启后,本地的主机名的一些配置可能有变化,找到/etc/hosts文件,最后添加了一个ip与主机名的映射,启动服务,启动success
总结:任何的变化,都有可能带来未知的问题,所以操作最好在业务低峰期进行,另外排查问题也应该从变化的方向查,另外就是一定要结合日志发现蛛丝马迹