某地PON网管频繁掉线处理报告

ckzyc007

某地PON网管服务器频繁掉线处理报告

【故障现象】
网管服务器频繁掉线，导致OLT频繁脱管，上报网元链路断告警，家客工单无法下发。
【处理过程】
一、9.17号晚，某地PON网管OLT开始频繁出现脱管故障，网管显示OLT已断链，但业务正常。Ping 网管服务器地址172.31.12.4 时通时不通，登陆服务器，ping服务器地址网关172.31.12.1也是时通时不通。问题锁定网管服务器网络问题。
联系支撑人员查看交换机，发现交换机很多arp攻击告警，为网管服务器发出。

    交换机认为网管服务器向交换机发动arp攻击，就将此端口数据包丢弃，待一个周期后，放开数据包限制，网管服务器恢复，一直循环，导致网管服务器时通时不通。
怀疑一：网卡工作模式与交换机端口模式不匹配问题；
处理过程：联系移动人员将交换机端口模式改为自适应，服务器网卡也改为自适应，问题未解决，排除端口模式问题。
怀疑二：病毒导致；
处理过程：用杀毒App杀毒，未查出病毒，问题未解决，排除木马病毒造成。
二、根据以往处理经验，将服务器网卡禁用、重启启用，故障恢复。观察1小时，正常。
三、9.18号早7点，再次接到故障通知，随即联系研发，研发指示在网管服务器侧抓包。抓包发现，网管服务器确实发送了大量arp包，约1分钟500多个。

     目前规划的网管服务器IP和网元IP为同一段，172.31.12.0/255.255.252.0（22位掩码），此网段共4个C、1000个IP，网段过大，容易造成大量的arp请求包。研发建议将网管服务器规划到单独的网段。随后联系支撑人员重新规划网管服务器IP为172.31.9.2/255.255.255.252（30位掩码）。服务器上抓包发现arp正常，1分钟约6个arp包。

至此，故障解决。