|
高防游戏论坛咨询QQ:63505267
网络干扰排除宕机分析中，较多误报是由于网络问题干扰，无法准确判断出物理机是否宕机，有可能是网络问题。排除上联网络设备异常导致的误报，包括机房断网演练，小面积网络故障，上联网络故障，如通过探测丢包情况，使用一些逻辑初步判断网络问题。游戏论坛本身未丢包的误报，除了需要过滤出网络问题，还要通过丢包数据分析，过滤掉SA误报问题， SA异常会上报心跳异常，被误理解为宕机。 icmp及tcp丢包分析，icmp采集频率为固定数秒，tcp采集频率固定数秒，包括多个不同大小包(16，32，64，128，256等)的丢包情况，根据分析时间窗内两项数据的丢包情况特殊情况干扰排除个别机房有时候会出现大面积风暴式的无故心跳异常，同时网络ping包异常，但上联网络设备ping包正常，这种误报，一般根据具体case具体进行针对性的分析。如根据监控每个机房的上报频率，排除干扰。进一步识别误报至此，大部分干扰已经过滤掉，但仍有一部分误报隐藏其中。比如心跳异常，ping异常，都合乎宕机判断的逻辑，会导致误判成宕机，如导致网卡被打爆，或者重试率高，这种是业务原因导致网络异常，但业务认为不是异常，需要排除掉。再例如游戏论坛并没有挂掉，但是IO延时和资源占用率各项指标都不正常等场景。针对以上等情况，增加uptime判断以及带外日志分析排查。宕机时间点探测uptime确定是否发生重启。进一步通过分析日志是否连续，判断是否发生重启。日志重启特征值匹配，确认是否发生重启。如果还不能确定，使用uptime的时间窗技术进行重启。仍不能确定的待处理，进入长尾处理名单。长尾再次处理未确认的待处理的，会加入到长尾列表中，像这种分钟级的心跳异常，ping异常，但串口日志一直正常输出的情况，一般就是某种死机，死到连网络都不通的场景。会观察一段时间，一个固定时间窗内仍未恢复或重启的话，就暂时报宕机。后期会把这种死机单独找划分归类。 |
|
雷达卡
发表于 2022-3-7 10:11:04
提升卡
千斤顶
