先说一个我真实经历过的排障。几年前接手一个客户的网络维护周一早上九点刚上班电话就响了全公司上不了网OA卡成幻灯片核心交换机面板上所有端口指示灯疯狂闪烁。第一反应是ARP欺骗抓包、封端口折腾了半小时没解决。最后用最笨的办法把汇聚交换机到接入交换机的上联线一根根拔拔到第三根的时候全网瞬间恢复插回去不到十秒又瘫痪。罪魁祸首不是攻击而是一个物理环路。环路这个词在日常工作中被提得太频繁但真正说清楚它是什么、为什么危险、怎么排查和预防的人并不多。这篇内容我把环路掰开揉碎讲一遍先区分它在不同领域的含义重点解剖网络二三层环路再从工程角度给出排障思路和防御手段。1. 环路在不同领域有好几张面孔先看清语境再聊问题1.1 网络工程里的环路连通性的灾难在网络设备的世界里环路指的是数据链路层或网络层出现了闭合路径。两个交换机用两根线互联、交换机又和上级设备形成三角连接、甚至一根跳线两头插进同一个交换机都会构成环路。二层环路会让广播帧无限循环三层环路会让数据包在路由器之间不断绕圈。网络工程师嘴里说的环路90%是这类需要尽快消除的故障。这也是绝大多数人问什么是环路时的真实场景网络忽然卡死有人告诉你有环路。这时候你需要理解的不只是定义还有它背后的机制——为什么一个闭合路径就能打瘫整个网络。1.2 电子电路里的环路电流的必经之路电路领域的环路是另一个概念。任何电流要工作必须从电源正极出发经过负载回到负极形成一个闭合回路。这个回路就是环路。你看一个最简单的LED灯电路电池、电阻、LED、导线首尾相接就是一个经典环路。电路分析里常用的基尔霍夫电压定律核心思想就是沿环路走一圈电压升等于电压降。在这个语境下环路不但不可怕反而是电路正常工作的前提。没有环路就没有电流。1.3 自动控制里的环路系统的自我修正机制控制系统里也有环路叫闭环控制。空调设定26度温度传感器测到室温30度控制器启动压缩机温度下降后再反馈回控制器压缩机停机——这就是一个完整的控制环路。关键在于反馈把输出结果送回输入端和期望值比较不断修正。开环控制没有反馈回路比如老式洗衣机只按预设时间运转不管衣服洗没洗干净。闭环控制因为有了环路系统才能自我纠偏。工业上常见的PID控制器、锁相环核心都是环路。1.4 城市规划里的环路控制城市边界的手段再往外延伸城市里的环城路、三环四环也是环路。它的作用是通过环形干道把过境交通引导到城市外围减少穿城车流同时划定城市发展边界。这是交通工程和城市规划的概念和技术圈说的环路没有什么关系但如果你在跨领域会议上听到环路这个词别下意识觉得是网络故障。这个铺垫很重要环路不是天生有害关键看上下文。接下来重点拆解网络环境里的环路这才是日常运维中最容易踩雷的地方。2. 二层环路为何致命广播风暴和MAC震荡的连锁反应2.1 交换机转发的基本逻辑不知道发给谁就发给所有人要理解二层环路的破坏力先搞清交换机的转发原理。交换机维护一张MAC地址表记录哪个MAC地址在哪个端口。收到数据帧时查表目的MAC对应端口明确就只从那个端口转发表里查不到就把帧从除接收端口外的所有端口发出去这叫泛洪。示意图里交换机上连着ABCD四台电脑收到一个目的MAC未知的单播帧它会向B、C、D三个方向的端口各复制一份。广播帧更特殊目的地址是全F地址表永远查不到对应端口所以交换机的规则是收到广播帧无条件泛洪到所有其他端口。这套机制在没有环路的拓扑里没有任何问题信息能准确扩散到每一台设备。但一旦拓扑成环问题就来了。2.2 广播风暴一个包变成洪水只需要一秒钟假设交换机A和交换机B之间有两条物理链路连接形成环路。A的任意端口收到一个广播帧它会从两条链路都向B转发。B收到这两个帧后按照泛洪规则又把它们从除接收端口外的所有端口转发出去——其中就包括刚才接收的方向。于是一个广播帧变成两个两个变四个四个变八个指数级增长。这个增长有多快呢实际环境中一个周期内的复制次数取决于交换机数量、端口数、链路带宽但结果都一样用不了几秒所有链路都会被广播帧塞满交换机CPU被中断风暴打满。网络核心此时连正常的管理帧都处理不过来表现为全网卡顿、频繁丢包严重时直接瘫痪。你可以把这个过程想象成一间教室老师递给你一张纸条说请传给所有人。你抄了十份传给十个人每个人又抄了十份再传出去。不到一分钟教室就被纸条塞满别说走路连呼吸都困难。广播风暴就是这么回事。2.3 MAC地址表震荡交换机彻底精神分裂广播风暴只是环路灾难的一面另一面是MAC地址表震荡。还记得交换机查表转发的规则吗前提是这张表本身是稳定的。环路出现后一个源MAC地址发出的帧可能从这条链路进来也可能从那条链路进来。交换机每收到一帧就学习一次源MAC和端口的对应关系。A端口收到这个MAC的帧表里记成A下一个帧从B端口进来表又被改写成B再过一帧又改回A。结果就是交换机的MAC地址表像精神分裂一样反复横跳。这带来两个后果第一交换机CPU被MAC学习操作大量消耗第二本来目的MAC明确的单播帧因为表项不稳定经常被当成未知单播泛洪到所有端口。这两种后果叠加网络性能进一步恶化甚至出现明明地址表里有PC1但发给PC1的包还是全网广播的怪象。2.4 环路带来的非典型症状网慢、CPU高、一会通一会断很多人以为环路一定会让网络彻底中断实际不完全对。如果环路只存在于一个VLAN的一段接入链路里其他VLAN可能还能通只是整体变慢。因为广播风暴会占用大量带宽资源跨VLAN的流量被挤占同时交换机CPU资源被耗尽路由协议心跳、ARP处理都会超时。还有一种常见症状是间歇性通断。某个业务几秒好、几秒断时延忽高忽低。这往往是环路造成某个交换机端口队列拥塞或者地址表频繁变更导致的。所以我一直建议遇到网络莫名其妙地慢、CPU莫名升高的故障第一件事就考虑环路哪怕刚排查过一遍也不能轻易排除。3. 三层路由环路与TTL绕圈的包怎么被拦住3.1 路由环路的三种来源配置错误、收敛不及时、静态路由写反二层环路发生在交换域三层环路发生在路由器之间。根源是路由器的路由表出现了矛盾路由器A认为去往目标网络的下一跳是BB认为下一跳是A或者B认为下一跳是AA又认为下一跳是B。数据包到达A之后查表发现下一跳是B转发给BB查表发现下一跳是A又转回A。包就这样在A和B之间永远画圈。形成这种情况的原因无非三种第一静态路由配置错误下一跳地址写成对方路由器的对端地址且对方也配了类似的错误路由第二动态路由协议在收敛过程中新旧路由信息交替出现短暂形成环路这种通常是自愈的第三路由汇总配置不当导致路由器对同一目标出现不同方向的等价路由判断。3.2 环路上的包在干什么它不是在传数据而是在跑圈和二层环路无限复制不同三层环路里数据包本身没有被复制它只是在一个闭环路径里反复转发。每一次经过路由器包的TTL字段减1路由器还要消耗CPU做一次查表和转发。表面上看网络还活着链路没堵死但去往相关网段的流量全部变成无效流量业务通不了所有发向那个网段的包都成了跑步机上的仓鼠。最典型的是跨网段ping不通但在路由器上ping路由器对端地址却能通。原因是本路由器能到达邻居路由器但数据包到邻居后找不到去最终目标的路由被甩回来形成一个死循环。如果你在中间路由器上调试能看到接口计数器疯狂增长而业务毫无进展。3.3 TTL给每一个包装上的定时炸弹数据包能无限循环吗当然不行互联网协议早就设计了保护机制。IP头部有一个TTL字段全称Time To Live翻译成生存时间更贴切。每经过一台路由器TTL值减1当TTL变成0时路由器直接丢弃这个包并通常返回一个ICMP超时消息。Windows系统发出的包初始TTL通常是128Linux是64很多网络设备是255。假设TTL是64包经过一个环路那么最多经过64台路由器后就会被丢弃。这就是为什么三层环路虽然危险但正常情况下只影响局部网段不容易打瘫整个网络——TTL就是数据包的定时炸弹到了时间自动引爆避免死循环。3.4 二层环路 vs 三层环路关键差异对照很多人分不清两类环路的区别我用一个表格把核心差异列出来。对比项二层环路三层环路发生层次数据链路层交换机网络层路由器/三层交换机数据帧状态被反复复制扩充广播风暴单包无限绕圈不被复制主要危害带宽耗尽、CPU打满、全网瘫痪特定网段不可达局部流量空转天然保护无需要STP/环路防护TTL字段限制跳数表现形式全网慢、端口狂闪、MAC震荡路由清空、目标网段不通、可收到TTL超时排查重点找物理闭合路径查路由表和下一跳配置4. 环路是怎么被接出来的最容易导致环路的几种操作4.1 一根跳线两头插进同一个交换机新手的迷惑操作说出来你可能不信实际故障里很大比例是这种低级却真实的操作。运维或新来的同事整理机柜看到旁边有网线垂下来顺手把两头都插进同一个交换机不同的端口。从交换机的角度看这构成了一个自我封闭的环路一个端口发出的广播帧从另一个端口又回来然后被泛洪出去路径闭合成立。交换机面板上电源口旁边多个亮着灯的口根本看不出异常直到全网瘫痪才知道出事。这类环路有个特点拔掉任意一头立刻恢复。所以排查时可以特意检查一下有没有同一设备两个端口被一根线连起来的情况尤其是临时跳线多的机柜。4.2 两台交换机之间多条链路STP却没起来历史遗留问题更常见的场景是两台交换机之间既有光纤上联又有一条网线直连甚至不止一条结果物理拓扑出现三角或环形。按理说生成树协议会自动阻塞冗余端口但如果设备上的STP被关闭或者模式配置不对、对端不支持冗余链路就成了无保护的环路生产线。这里有个真实案例某环境里核心、汇聚、接入三层设备接入层交换机同时用两条线分别上联到两台汇聚交换机而两台汇聚之间又有级联线。汇聚之间配了链路聚合没问题但接入层的两条上联线没有跑聚合STP又因为配置陈旧被关了。某天两台汇聚之间的级联线松动重新协商后整个二层变成了环全网广播风暴。解决方式不是简单拔线而是规范拓扑、重新规划链路。4.3 无线桥接/中继的无线环路看不见的成环方式有线网络成环容易被理解无线场景反而更隐蔽。两个房间之间用无线网桥桥接然后网桥又通过网线接入同一个交换机或者无线路由器开了WDS中继中继节点和主节点之间的无线链路与各自的有线回程形成闭合路径同样会构成二层环路。无线AP的BSSID会不断泛洪广播流量通过无线链路传回主交换机主交换机又从有线口传给AP再通过无线传出去循环往复。排查无线环路比有线困难因为你肉眼看不到无线路径的方向。处理这类问题得先检查交换机上接入AP的端口流量是否有异常同时把无线设备的以太网回程和无线回程逻辑理清楚避免同一条链路既走有线又走无线。4.4 桌面小交换机办公室环路的隐形源头还有一种情况特别容易被忽略员工工位下的小交换机。某部门为了多接几台电脑自己买了一个五口交换机一根线接到墙上信息点再从桌面交换机的另一个口拉一根线接到旁边同事的墙插上——这就在两个墙插之间形成环路。因为两个墙插最终通向楼层的同一台接入交换机等于接入交换机的一个物理环路。这种环路一旦出现往往是在工位整理、换工位之后属于无意之作。排查时如果不是公区机柜也要盯住工位附近的私接设备。很多网络管理员有个共识哪里网络莫名奇快地出事先跑现场看桌面小交换机接了几根线。5. 排障实录从全网瘫痪到精准定位环路的完整链路5.1 第一步快速区分环路与故障看指示灯和CPU环路和一般故障最直观的区别在前面已经提过端口指示灯同步狂闪、核心CPU异常高、全网卡顿同时出现。如果只有个别电脑上不了网那可能是那一段链路的问题不一定是环路。但如果是所有人都变慢、交换机CPU飘红大概率就是环路。先别急着拔线。登录核心设备的命令界面看CPU占用率和端口流量判断环路大致方向。这一步能避免乱拔线把所有业务都拔断的尴尬。5.2 第二步端口流量速查哪个端口疯狂收包以常见的华为交换机举例登录后先看CPU和接口流量display cpu-usage display interface brief然后重点看流量特别异常的端口。环路一旦形成风暴流量会在环路的两个入口端口上体现为极高的输入/输出速率几乎接近端口线速。查看指定端口详情display interface GigabitEthernet 0/0/1如果GigabitEthernet端口双向速率接近1000Mbps且InUti和OutUti都接近99%基本可以锁定这是环路路径的一部分。思科交换机上用的是show interfaces | include rate show processes cpu | include IP Input当IP Input或IP Background进程占据大量CPU时八成在对广播风暴做中断处理。如果你发现某个端口的错误计数里有大量output errors、late collisions、CRC errors并存也可能是环路带来的半双工重传和冲突。5.3 第三步拔线二分法用最朴素的手段缩小范围明确环路方向后剩下就是物理排查。最有效的是拔线二分法从汇聚交换机开始把下联端口按组关掉或拔线一次处理一组观察全网是否恢复。如果没有恢复说明环路不在这一组插回去再处理另一组。恢复的那一刻说明环路就在刚才拔掉的那一组链路里。进入这一组后继续往下接入交换机上逐个查看上行口和级联口。一般来说如果是两台交换机成环拔掉环上的任意一条线网络立即恢复。注意恢复不是瞬间完成尤其交换机里有STP的时候要等端口进入阻塞或转发状态切换通常一两秒到几十秒。如果等了还在瘫痪再继续拔。这个办法土但有效。特别是没有操作权限、设备复杂的情况下用物理手段往往比上抓包快。5.4 第四步STP查证哪个端口应该被阻塞却没阻塞如果网络里有STP还可以通过STP状态确认哪些路径是规划设计中的冗余。华为交换机命令display stp brief display stp abnormal思科交换机命令show spanning-tree summary show spanning-tree blockedports正常设计里冗余链路上应该有端口处于Blocking状态这是有意保留紧急时可用的备份路径。如果所有相关端口都是Forwarding转发状态而物理拓扑又存在冗余连接那就有形成环路的先决条件。这时候看到的现象往往是某台接入层的端口全部Forwarding没有阻塞端口且网络中正在发生广播风暴。还有一种情况是STP本身被配置掩盖了问题——比如端口设置了边缘端口BPDU过滤被打开导致对端的BPDU被忽略本来要阻塞的端口没阻塞。排查时可以检查边缘端口和BPDU过滤配置把这些例外排除掉。5.5 别忘了VLAN内成环广播风暴只在某个VLAN里发生曾经遇到一个案子整个网络正常只有财务部一个网段的电脑互相ping不通其他业务一点问题没有。查了半天发现是财务部两个接入交换机之间连接了一根线而这两个交换机的端口只属于财务VLAN。广播风暴被隔离在那个VLAN里所以核心整体不堵单独骂财务部网络瘫痪。处理这类局部环路仍需拔线二分法但要在接入层交换机上操作并且观察的是具体VLAN的流量。如果你用抓包工具可以在核心交换机上做镜像端口抓取该VLAN内的广播帧。一个帧在环路上被你抓到多次且源MAC都是同一台终端那基本就能确认有环形路径。抓包命令参考tcpdump -i eth0 -nn vlan 100 and ether broadcast看到同一广播帧的高频重复就是环路最直接的证据。6. 防御远比排障省心STP、环路保护与拓扑纪律6.1 STP是怎么打断环路的引入一棵逻辑树生成树协议Spanning Tree Protocol是二层环路的经典解药。它的思路不是你物理上不能有冗余链路而是通过算法在逻辑上把冗余链路修剪掉让整个交换网络呈现出树形结构无环但保留备份。STP通过交换机之间交换BPDU网桥协议数据单元来选举一个根桥每台非根交换机选一个根端口每条链路上选一个指定端口剩下的备用链路端口进入阻塞状态不转发数据、只监听BPDU。一旦现有最优路径断裂阻塞端口会通过状态机快速转为转发状态网络恢复正常。这个机制有点像一个家族只能有一个族长每个分支只有一条上传通道其他旁系通道平时关闭族长出事了再启用备选。它用逻辑上的牺牲换取了物理拓扑的弹性。6.2 RSTP/MSTP快速收敛和多实例优化的选择传统STP收敛慢往往要30到50秒在业务不中断要求高的时代已经不够用。实际项目里基本都部署RSTP快速生成树协议或MSTP多生成树协议。RSTP把收敛时间压缩到秒级甚至毫秒级利用端口角色快速切换和提议协定机制不再依赖冗长的计时器。MSTP更进一步它允许把多个VLAN映射到不同实例不同实例可以独立计算生成树实现负载均衡——某些VLAN走这条冗余链路另外一些VLAN走另一条互为备份也互为备份带宽。在选择协议时同一个二层域内建议所有交换机统一用同一个生成树协议设备型号多的环境尤其要小心。老的STP、私有PVST和标准RSTP混用时BPDU格式不兼容可能直接导致某些冗余链路没被阻塞环路就是这么漏出来的。6.3 BPDU Guard、Loop Guard与边缘端口把人为失误挡住协议有了但人总会犯错。防御环路的最后一道关口在端口层面。BPDU Guard设计给连接终端设备的下行口。开启之后如果这个端口收到BPDU说明有交换机被接进来了也就是有人在这个口下面私自扩展了网络设备交换机立刻将端口置为err-disable状态自动切断链路防止私接设备带来的环路扩散。我倾向于所有连接PC、打印机、IP电话的端口都开BPDU Guard。Loop Guard防止单向链路故障引起的环路。当一条链路的某个方向断了对端还认为链路正常STP可能误把阻塞端口转为转发此时形成单向环路。Loop Guard会在端口收不到BPDU时把端口置为不一致状态而不是直接转发数据避免了这类隐性环路。边缘端口连接终端的端口应该设置为Edge Port华为的access类型思科的portfast。它可以跳过STP协商快速进入转发状态同时配合BPDU Guard使用。注意边缘端口不能误开在交换机互联链路或上联口上否则会绕过STP计算埋下环路隐患。6.4 最靠谱的防御物理拓扑不要成环才是根本技术手段再多都不如拓扑设计一开始就规范。接入层每台交换机到汇聚层保持单链路或者用链路聚合把多条链路绑成一个逻辑链路不要在同一交换机之间平行乱拉线。如果需要冗余让STP去管理但要在文档里写清楚这个环是故意的冗余设计不是故障。我见过太多环境机柜后面一堆网线连成蛛网状没人知道哪根线是干什么的最后出了环路只能靠拔线去试错。维护网络不是靠大神的临场发挥而是靠标准化的物理布线和端口台账。每根网线两端打标签、每个交换机端口对应哪台设备记录在案环路排查可以快十倍。给所有网络设备的互联规范做一个链路矩阵标明哪些端口之间有物理连接、哪些是规划冗余日常防呆价值极大。7. 别误会环路在很多地方是功臣电路回路、控制环路与接地环路7.1 电路环路没有回路电流寸步难行回到开头的概念区分。在电路设计里环路是电能工作的基本前提。不管是直流电路还是交流电路电流都必须从电源出发经过负载再回到电源形成闭合的环路。如果导线在某处断开断路了电流不流动电路就不工作。这就是为什么你家里的插座必须有火线、零线两根线一根送电一根回电这个环路概念是中学物理就讲过的基础。电路分析中的基尔霍夫电压定律本质上说的就是环路在任何一个闭合回路里各段电压的代数和等于零。我当年学的时候总把这句话当定理背后来做电源设计才发现它就是能量守恒在电路里的体现——沿环路走一圈电压升和电压降必然相等否则电流就违背物理定律了。7.2 闭环控制恒温器、锁相环与自动化的骨架控制系统的环路更是核心中的核心。从家里空调的恒温控制到工业现场的温度、液位调节再到电子设备里的锁相环PLL全部依赖环路反馈。开环系统没有反馈输出不可控闭环系统通过传感器测量输出与目标值比较产生误差并修正控制量形成设定—执行—测量—修正—执行的自适应环路。锁相环是通信和时钟电路里绕不开的环路它通过相位检测器比较输入信号和本地振荡器信号的相位差误差电压经过环路滤波器控制压控振荡器实现对输入信号频率的精确锁定。没有这个环路现代通信系统根本同步不了视频帧率、以太网时钟、无线通信载波调制全都会乱套。在这个语境下环路是整个系统稳定工作的自律神经。7.3 接地环路正面角色里的小麻烦环路在电路世界并不总是无害。接地环路是音频和测量领域常见的噪声源当两个用电设备同时接入电源系统且信号线缆两端都有各自的接地参考点地线上的微弱电位差就会在信号线中产生电流形成噪声。典型的现象是音响系统出现低频哼声电脑接音响时滋滋响。解决接地环路的核心思路是打破地环路要么采用单点接地确保所有设备共用一个接地点要么用隔离变压器、光电隔离器切断地回路中的信号路径。这和网络里的环路理念高度一致——有环就可能有循环电流找到最合理的断点是同一个思维。7.4 最后分享一点个人体会搞懂环路这件事之后我对这类名词敏感了很多。网络环路的本质不是多了一条线而是路径闭合后系统缺少一种手段去打破无限循环。网络靠STP、TTL打破循环控制电路靠反馈设计来利用环路音频系统靠隔离来切断有害环路。核心逻辑是一样的先认出环路再决定是消除它还是利用它。回到最开始那个排障案例。后来我给那个客户做了两件事一是全网接入层统一启用RSTP并开启BPDU Guard二是把所有机柜跳线做了台账和标签管理。三个月后同样的问题又出现了一次但这次监控前半个小时就定位了位置二线同事到现场十分钟拔掉误接的跳线全程业务无感。环路不可怕怕的是不认识它、不防着它。希望这篇内容能让你下次遇到网络异常时心里先闪过一句话——会不会是环路然后按这套思路快速找到答案。
