一次网络故障排除的经历

遇见

近几天单位网络出现崩溃现象，大部分员工不能上网。这种现象以前出现过，一般过一两个小时会最动恢复，一直没找到原因。忍受了一个下午，实在受不了，决定去看看到底出了什么问题。 
首先，发现有部分员工上网正常，没有任何问题。Ping网关，互ping 都是通的。然后到不能上网的offfice去查看，发现电脑接上网线就变得迟钝，好像中了病毒，但是拔下网线机器又正常，用测线仪测试，发现所有的网线线对都正确，都没有问题。第一直觉告诉我局域网中可能存在病毒，致使电脑之间相互攻击，带宽用尽之后不能上网。正好，同事阿根提供了一个单机版ARP防火墙，在正常的电脑上运行，对网络中的数据包进行分析。发现，网络中有大量的ARP探测包，说明有ARP欺骗病毒存在。这种问题只能让局域网中所有电脑开启ARP防护（单位没有做服务器代理，不能通过服务器来解决这一问题。关于为什么不做服务器代理，原因有很多，主要是资金，还有校园网采取认证上网后不允许采用服务器代理，否则网络中心会封端口。） 
现在只能是跑断腿了，毅然决然一个一个办公室去给每台电脑开启ARP防护，反正年轻。大部分员工都安装了可免费升级的360安全卫士，恰逢这几天360安全卫士主程序升级，升级后默认AR防护没有开启，这一原因导致网络中出现了大量的ARP地址攻击。决定暂时保留投诉360的权力。花了大量精力几乎将所有电脑都开启了ARP防护。有部分员工当时不在办公，ARP防护没有开启，当时想反正就几台应该不会影响网络。做完这一项工作后，到了下班时间，大部分员工都关机下班。这时我去查看那些不能上网的电脑，基本恢复了，说明ARP攻击基本解决，网络恢复了正常。特地去看了一下领导的电脑，也能上网，虽然有点慢。想，等网络恢复就好了。 
心情比较宽慰的下班回家陪老婆去了。。。。。。 
没想到啊，没想到。第二天上班，网络又出现问题。 不能掉以轻心啊。 
回过神来仔细想了想。先把单位上的逻辑网络结构描述出来。单位大楼成“H”型，分南北楼。由于历史原因，大楼改造先从南面开始，改造时南北之间不通。南楼先投入使用，而接入大楼的主干网设在北楼的三楼过道上。吊了一个机柜，设了一个华为三层交换机，启用了其中两个进入端口。拉了两根光纤，从主干到南面，让南楼先行上网。这解释了北楼网络不正常时，南楼网络正常。从主干交换机出来接了五个端口，五个口对应每楼层交换机（总共才五层楼），实际上四、五楼是机房，有大量的计算机。为了与1-3楼的办公网分开来，五根线只用了三根，接到1-3楼的楼层交换机。楼层交换机汇聚在三楼络电间。1-3楼的楼层交换机之间不级联，4、5楼的交换机仅与第三楼的楼层交换机级联。这种设置也解释了当1-2楼不能上网时，4、5楼网络正常。 
头天只是北楼1-2层不能上网，今天南北楼都出现大部分不能上网。说明网络ARP地址攻击问题还没有彻底解决，打开防火墙看数据分析，有几个IP地址正在大量发包，查网卡地址与使用人姓名对应起来，很快找出了作恶者。在这真是要感谢学院网络部门，很早前做了MAC地址普查，现在派上用场。找出正在发送攻击包的电脑后，开启防护，网络攻击包基本消灭。 
至此南楼的网络正常。由此得出主干网交换机不存在问题，现在关键问题出在北楼。而北楼4、5楼上网正常，问题再进一步得到细化。和同事阿木，阿根简要分析后直奔三楼络电间。带上一笔记本接到1-5楼的楼层交换机上去测试，发现接第二楼的交换机时笔记本会出现迟钝，不能上网，一拔线本本又正常，可以肯定，问题就出在第二楼的楼层交换机上。 
阿木把第二楼的楼层交换上所有线拔下来，只留从主干交换机进来的线不拔。然后将拔


下来的线一根一根接回去。最终发现其中一根接上去之后网络立即崩溃。皇天不负有心人，终于找到问题所在了。读网线头上的标签，一查发现竟然是联接到某个工作间的。现在直奔工作间。 
来到工作间后，首先测试从墙面端口出来有无信号，经测试发现线对有问题，剪掉后重做。测试后线对无误，可是接上桌面级交换机后网络又立即崩溃。长呼一口气，最终在桌面交换机上发现有一根网线两头都接在交换机上。原来如此，如此接法产生环路，形成大量的网络风暴。亲娘叻！找到这个小问题还真费劲。拔掉这根线后网络重归正常，至此，本次网络“起火”问题全部解决。弹冠相庆！ 
事后总结：造成本次网络瘫痪的原因主要有二 
一、360安全卫士防毒软件升级后，没有开启ARP防护，致使网络中出现了大量的攻击包，带宽用尽后崩溃。 
二、从电脑接到桌面级交换机的网线两头都接入交换机，形成了回路，产生了网络风暴。 事后建议： 
一、单位应该开展办公电脑正常防毒，上网基本知识教育。 
二、单位员工应该洁身自好，不去访问不正规网页，以免带入病毒。 三、做一个有良知的人，不去玩毒，放毒。

popboy

新手学习，请多指教。

alfiy

哈哈，此类问题我也遇到过，可以通过wireshark抓包看看

chengzisoft

赞，向你们学习