案例背景

某中型企業(yè)（員工約500人）核心網(wǎng)絡(luò)架構(gòu)為典型的三層結(jié)構(gòu)：接入層、匯聚層和核心層。核心交換機(jī)采用雙機(jī)熱備（VRRP），通過萬(wàn)兆光纖上聯(lián)至防火墻，再連接至互聯(lián)網(wǎng)。接入層交換機(jī)通過千兆電口連接用戶終端。企業(yè)主要業(yè)務(wù)包括OA系統(tǒng)、ERP系統(tǒng)、視頻會(huì)議及日常互聯(lián)網(wǎng)訪問。

故障現(xiàn)象

2021年10月26日上午9:15，企業(yè)員工普遍反映訪問內(nèi)部OA系統(tǒng)和ERP系統(tǒng)緩慢，視頻會(huì)議頻繁卡頓，但訪問外部互聯(lián)網(wǎng)網(wǎng)站（如新聞門戶）速度正常。網(wǎng)絡(luò)監(jiān)控系統(tǒng)顯示核心交換機(jī)CPU利用率在高峰時(shí)段達(dá)到85%，端口流量存在異常波動(dòng)。

問題分析

1. 故障范圍界定：?jiǎn)栴}集中于內(nèi)部業(yè)務(wù)系統(tǒng)，外部訪問正常，初步排除互聯(lián)網(wǎng)出口帶寬或外部鏈路故障，焦點(diǎn)應(yīng)放在內(nèi)部網(wǎng)絡(luò)和數(shù)據(jù)中心區(qū)域。
2. 可能原因排查：

• 帶寬瓶頸：檢查核心與匯聚鏈路利用率，特別是連接服務(wù)器區(qū)域的端口。

• 設(shè)備性能：高CPU利用率可能由廣播風(fēng)暴、路由振蕩或硬件故障引起。

• 應(yīng)用層問題：OA/ERP服務(wù)器自身負(fù)載或數(shù)據(jù)庫(kù)查詢效率低下。

• 網(wǎng)絡(luò)環(huán)路：STP協(xié)議收斂問題或配置錯(cuò)誤導(dǎo)致臨時(shí)環(huán)路。

• 安全事件：內(nèi)部網(wǎng)絡(luò)存在掃描或DoS攻擊消耗資源。

1. 數(shù)據(jù)收集：

• 通過SNMP或CLI檢查核心交換機(jī)端口流量、錯(cuò)誤幀、廣播包計(jì)數(shù)。

• 分析NetFlow/sFlow數(shù)據(jù)，識(shí)別Top Talkers及異常流量模式。

• 檢查日志中是否有MAC地址漂移、STP狀態(tài)變更記錄。

解決方案與實(shí)施

1. 緊急處置：在業(yè)務(wù)低峰期（如午休），對(duì)核心交換機(jī)進(jìn)行重啟以暫時(shí)緩解CPU壓力，并備份當(dāng)前配置及日志。
2. 根因定位：流量分析發(fā)現(xiàn)某接入交換機(jī)連接端口廣播包異常激增，進(jìn)一步定位到該樓層一臺(tái)新接入的網(wǎng)絡(luò)打印機(jī)因驅(qū)動(dòng)不兼容，持續(xù)發(fā)送畸形廣播包，導(dǎo)致局部廣播風(fēng)暴，經(jīng)匯聚層擴(kuò)散至核心。
3. 故障排除：

• 隔離故障端口，斷開問題打印機(jī)網(wǎng)絡(luò)連接。

• 在接入交換機(jī)啟用端口級(jí)廣播風(fēng)暴抑制（如設(shè)置broadcast-limit）。

• 優(yōu)化STP參數(shù)，確保快速收斂，并檢查是否存在冗余鏈路誤接。

1. 優(yōu)化措施：

• 實(shí)施網(wǎng)絡(luò)準(zhǔn)入控制（如802.1X），防止未經(jīng)授權(quán)或異常設(shè)備接入。

• 部署更細(xì)粒度的流量監(jiān)控與告警機(jī)制，設(shè)定CPU利用率、廣播包速率閾值。

• 對(duì)核心交換機(jī)進(jìn)行固件升級(jí)，并評(píng)估未來(lái)性能擴(kuò)容需求。

與反思

本次案例體現(xiàn)了分層排查在故障處理中的重要性：由現(xiàn)象（應(yīng)用慢）到層面（網(wǎng)絡(luò)層），再聚焦于具體設(shè)備與端口。日常運(yùn)維中，應(yīng)加強(qiáng)基線數(shù)據(jù)建立（如正常流量模式、設(shè)備CPU水平），以便快速識(shí)別異常。新設(shè)備入網(wǎng)需有嚴(yán)格的測(cè)試與審批流程，避免兼容性問題引發(fā)全網(wǎng)風(fēng)險(xiǎn)。網(wǎng)絡(luò)工程師不僅需精通技術(shù)，更需具備系統(tǒng)化的問題分析與預(yù)防性優(yōu)化能力。