?這幾天,大家都在關注日本電信運營商KDDI的大規模通信故障。
(資料圖片)
這個故障影響很大,涉及到日本全境范圍,共3915萬用戶。而且,故障持續的時間很長,差不多花了兩天,才算基本恢復。
故障的具體原因,我看到很多公眾號都已經寫了,我就不再重復分析了。
今天這篇文章,我想把話題放大一點,和大家深入聊聊——都2022年了,為什么我們的通信網絡還有這么多故障,以及,我們到底有沒有終極解決方案。
通信故障:一場持續百年的博弈故障是通信網絡的天然屬性。就像人會生病一樣,通信網絡自誕生以來,就伴隨著故障?;蛘哒f,我們就是在解決故障的過程中,才創造了通信網絡。
貝爾老爹在解決了無數故障后,才發明了電話
一百多年來,無數的通信人,都在與故障進行堅持不懈的斗爭和博弈。他們努力研發了各種技術,采用了各種手段,和通信故障抗爭。
從宏觀上來說,抗爭的效果是顯著的。在經驗的不斷積累下,在工藝和技術的不斷進步下,通信網絡發生故障的概率在不斷下降。
年輕的讀者可能并不知道,20多年前,固定電話撥不通(有電話的家庭都不多),和停水停電一樣,是常見現象。10多年前,手機撥不通,上網上不去,也是常見現象。
近十年來,這些現象變得越來越少見。偶爾發生一次,大家反而會覺得很奇怪。網絡斷了,很多人的第一反應是手機壞了,或者欠費了,趕緊重啟或充值。不是嗎?
我們現在所處的信息社會,通信網絡和水電一樣,是重要的基礎設施。我們的工作和生活,還有各行各業的運轉,都離不開通信網絡。
在這樣的前提下,通信運營商作為國企,作為網絡的建設和維護者,會始終把網絡的安全穩定放在第一位。
針對網絡穩定,工信部給運營商們設定了嚴格的考核指標。如果某省某市出現了網絡故障,一把手肯定要擔責,仕途堪憂。
運營商領導的壓力,會傳遞到員工身上,也會傳遞到設備商和外包商身上。
現在市場競爭如此激烈,一旦出事,要么就是巨額的賠款,要么就是丟掉這個省的市場份額,這是設備商和外包商無法承受的損失。
所以說,整個通信行業對于通信網絡的安全穩定,重視度肯定是足夠的。關鍵,還是能力和執行的問題。
通信網絡的弱點,究竟在哪?首先,我要和大家說一下通信網絡的安全級別定義。
根據場景不同,通信網絡的安全分為不同等級。從低到高,分別是家庭級、企業級、電信級。
通信系統的安全等級
像我們家里用的路由器什么的,都屬于家庭級。這種設備的安全性可靠性很低,說壞就壞,很容易導致網絡中斷。
企業級呢,就是單位里面用的網絡設備。根據網絡規模和用戶數量,企業級設備有較高的安全性可靠性,不太容易中斷服務。
電信級的要求,就更高了。像移動、電信、聯通,它們的網絡,要為上億的用戶提供服務,絕對不允許輕易出現故障。通常來說,電信級的可靠性,要達到5個9以上的標準。
今天小棗君說的通信網絡,指的就是運營商面向公眾的公共通信網絡,既包括蜂窩移動通信網絡,也包括固網寬帶網絡。它們都屬于電信級。
蜂窩移動通信網絡和固網寬帶網絡的架構其實是類似的,主要區別在于接入網部分。
蜂窩移動通信網絡是無線接入網,接入設備是基站。而固網寬帶網絡是有線接入網,接入設備是PON設備(無源光網絡設備,包括光貓)。
我們就以蜂窩移動通信網絡為例,進行分析。
公共通信網絡,服務的是數以億級的用戶群體,所以,通常會采用金字塔級的架構,核心網為核心,傳輸網(承載網)為骨干,接入網為四肢。
大家一眼就能看明白,這種架構,最大的弱點,就在于核心網和傳輸網(尤其是骨干網)。
核心網是管理中樞,是網絡的心臟和大腦,一旦掛了,就整個網絡掛了。所以,核心網工程師(比如當年的我)是風險和壓力最大的崗位。
核心網機房
傳輸網(承載網)呢,是通信網絡的血管和神經。末梢還好說,壞了最多影響一小塊,但是,如果心血管和腦血管壞了,怎么辦?那也是徹底癱瘓。
光傳輸設備
這次KDDI發生的故障,還有2021年10月DoCoMo發生的故障,以及2020年英國四大運營商的故障,2020年美國CenturyLink的故障,都和核心路由器有關。說白了,就是心腦血管出了問題,整個人(網絡)就癱了。
相比之下,接入網這邊出大問題的概率很低。個別基站“掉站”,最多影響幾百幾千人,范圍很小,投訴可控。
基站設備
如果接入網出現大規模故障,那極有可能是設備商的軟件版本問題,或者硬件批次問題。這種情況的概率極低。
為了防范故障,通信人都做了些什么?那么,為了保證通信網絡的安全平穩運行,防范故障的發生,我們通信人都采用了哪些辦法呢?
(1) 首先,是頂層架構設計的完善。
網絡的架構,是網絡安全之本。一個好的架構,既要考慮性能和容量,也要考慮成本,還要考慮安全和冗余。
這里請大家務必記住一點:通信設備作為一個復雜的產品,不管你怎么設計或堆料,它都存在故障的可能,只是概率高低、時間早晚的問題。
對于可能出現的故障,與其嚴防死守,不如重點考慮發生故障之后,該怎么辦。
所以,引入備份機制,是應對故障最有效的手段。
備份機制
大家都學過“概率與統計”,1個設備出現概率的故障如果是1%,那么,兩個設備同時出故障的概率,就是1%×1%=0.01%。沒錯吧?
為了保證絕對的安全,網絡架構設計時,會采用POOL(池)組網的方式,如下圖:
好幾個設備共同組成池子(POOL),各自負責業務,如果有一個壞了,其它的立刻頂上,保證業務不受影響。
核心設備,通常有兩個或兩個以上,分別在省會城市的不同區域,物理上就離得很遠。
此外,在做網絡架構設計時,重要的設備網元通常會放在安全級別更高的核心機房。
核心機房
例如,移動通信網絡里面最最最重要的、負責存儲和管理用戶數據的HSS(就是以前的HLR,里面有每個用戶的手機號碼、鑒權數據、業務信息等),就存放在省會城市的核心機房。同時,維護人員會定期進行數據的物理異地隔離備份。
這幾年,因為地質災害,加上戰爭或恐襲等因素考量,運營商甚至開始做異省份的備份。
例如,去年鄭州洪災,當時核心機房被淹,HLR退服,就緊急啟用了放在鄰近省份省會城市的HLR,實現業務的臨時恢復。
不同的容災級別
(2) 第二個辦法,底層的主備機制。
剛才我們說的是頂層設計的冗余機制。具體到機房、機架、單板、線纜,也都有主備的設計,可以稱之為底層的主備機制。
如果去過機房,你就會發現,機柜上的機框,插著各種各樣的單板。而這些單板,基本上都是成對出現的。
某廠家3G設備正面外觀
也就是說,某一類型的單板,通常都會有兩塊。
網線和光纖也是一樣,你幾乎看不到單根的線纜,都是成對的。
某廠家4G設備正面外觀
這樣做的原因,就是為了互相備份。如果某塊單板壞了,那另一個單板就能繼續工作,保證業務不受影響。同時,系統會進行報警,提醒工作人員盡快更換。
電源也是一樣,電信機房所有機柜設備,肯定都有至少兩路電源輸入。
多路電源輸入(一紅一藍為一路)
除了市電以為,重要機房還會設置蓄電池、UPS、發電機等應急供電設備。
?機房的蓄電池組
(3) 第三,完善的管理制度和法規。
技術永遠都不是影響網絡安全穩定的唯一要素。對通信網絡威脅最大的,其實是人,而不是技術。
對于這一點,小棗君相信每一個通信人都會有相同的感受。
在管理流程和制度方面,在工程技術規范方面,我們有過無數次血的教訓。
為什么升級方案要反復評審?為什么工程規范要那么嚴格?為什么要建立備件倉庫?為什么割接步驟要double-check,甚至triple-check?為什么重大操作后要安排值守?為什么重要節假日要封網?……
這些都是前人踩雷總結下來的經驗。
對網絡故障,要時刻保持敬畏之心
除了內部管理制度和流程標準之外,針對現在經常發生的通信網絡蓄意破壞事件,國家也建立了越來越嚴格的法律法規,進行處罰。
像非法施工鏟斷光纖、蓄意破壞基站、剪斷光纖,都將受到法律的制裁。
被惡意剪斷的基站饋線
通信故障背后的深層次原因有合理的網絡架構設計,有齊備的主備機制,又有完善的制度和規范,為什么還會發生這么多故障?
接下來,我來說點深層次的原因。
首先第一點,估計也是大家最認同的一點,那就是通信行業的內卷環境。
這些年,惡意競爭、低價中標盛行,設備商和分包商既要搶單,又要維持利潤,只能拼命壓低成本,比如產品設計成本、用料成本、施工材料成本。更主要的是,人員工資成本。
成本不斷壓縮,勢必影響產品可靠性以及工程質量。過低的工資,導致大量經驗豐富的人才流失。分包商為了完工,只能招聘應屆生,簡單培訓(甚至沒有培訓)之后,派到現場干活。
這些人員缺乏必要的培訓和實踐,素質水平和技術能力不足,成為很大的風險點。
有些極個別素質低的,被壓迫狠了,直接刪庫跑路,也不是沒有可能。
前些年,為了確保一線員工不被克扣待遇,有廠商甚至和分包商簽訂合同,約束外包員工的收入底線。
除了低價競爭之外,影響網絡運行安全的另一個重要因素,是不斷增加的技術復雜度。
越先進的技術,復雜度越高,可靠性越低。隨著技術的演進,運營商的網絡規模變得越來越大,組網也越來越復雜,出現問題的概率大大增加。
通信網絡的潮汐效應是非常明顯的。閑時和忙時有時候會有十倍甚至百倍的差異。如果出現意外事件(災害等),話務量激增,更可能是千倍的差異。
運營商不可能做千倍的冗余設計。所以,如果沒有合理的旁路設計或閾值設計,網絡出現擁塞的概率是極高的。(這幾年的幾次重大故障,都有信令流量擁塞的因素。)
目前運營商的復雜組網,自己都沒幾個人能完全看懂。時間久了,人員一流動,就更陌生了。
通信網絡本來就是一門玄學,問題千奇百怪,誰敢說自己能算準每一種可能性?
第三個潛在的網絡安全風險,也是小棗君最擔心的風險,那就是外部的網絡攻擊。例如黑客、病毒和系統漏洞。
如今,通信設備基本上都IP化、云化了,網絡越來越開放,也有的直接部署在公有云上,和外界的物理隔離越來越弱,比以前更容易受到攻擊。
現在的攻擊者,水平也比以前高很多,手段也更加多樣化,對網絡的威脅極大。
當然,運營商和設備商在防范網絡攻擊方面,投入也很大。
現在,所有廠商都關注“安全加固”這個概念。顧名思義,安全加固就是封堵系統漏洞,使得系統更加穩固。運營商會采用第三方工具,或聘請第三方廠家,對現網設備進行安全掃描,尋找安全漏洞,然后要求設備商進行整改和封堵。
一切為了安全
這種“道高一尺,魔高一丈”的博弈,會長期持續下去。
但是,小棗君個人認為,目前防御的一方,在人員安全意識、技術能力方面,都存在很大問題。后續,我們遇到的安全事件,會越來越多。
希望有關單位和部門不要把安全放在嘴邊,真正花點功夫提升自己的人員素質,加強培訓。不然真出了事,補救就太遲了。
最后的話日本KDDI的故障不是第一次,也肯定不是最后一次。通信網絡故障,就像擊鼓傳花,誰也不知道自己是不是下一個。
現在,廠商們都提出要引入AI,讓人工智能來接管網絡,以此降低網絡的故障率。也有的廠商,在網絡云化的基礎上,搞灰度升級(即局部升級),也能大幅降低網絡風險。這些都是好的趨勢。
我覺得,在與通信網絡故障進行斗爭的道路上,我們還有很長的路要走。路漫漫其修遠兮,通信人當上下而求索。
好了,以上就是今天文章的全部內容。?
X 關閉
X 關閉
- 1轉轉集團發布2022年二季度手機行情報告:二手市場“飄香”
- 2充電寶100Wh等于多少毫安?鐵路旅客禁止、限制攜帶和托運物品目錄
- 3好消息!京東與騰訊續簽三年戰略合作協議 加強技術創新與供應鏈服務
- 4名創優品擬通過香港IPO全球發售4100萬股 全球發售所得款項有什么用處?
- 5亞馬遜云科技成立量子網絡中心致力解決量子計算領域的挑戰
- 6京東綠色建材線上平臺上線 新增用戶70%來自下沉市場
- 7網紅淘品牌“七格格”chuu在北京又開一家店 潮人新寵chuu能紅多久
- 8市場競爭加劇,有車企因經營不善出現破產、退網、退市
- 9北京市市場監管局為企業紓困減負保護經濟韌性
- 10市場監管總局發布限制商品過度包裝標準和第1號修改單