傳統歷史階段,數據中心的網絡以三層架構(核心、匯聚、接入)為基本標準。在具體落地的過程當中,隨著技術的不斷發展,不同的廠家有不同的組建方式,有的廠家在核心層增加虛擬化技術,實現物理設備上的核心層和匯聚層的虛擬化分離,使得整體網絡架構偏于扁平;有的廠家在匯聚層和接入層增加虛擬化技術,實現物理設備上的匯聚層和接入層的虛擬化分離。但是無論如何改變,都沒有改變以太網絡傳輸的基本原則,都是需要靠網絡地址、物理地址來進行控制轉發。但是隨著云計算的發展,數據中心的規模多數朝著規模大、超靈活的需求方向邁進。那么隨著而來的虛擬計算跨區域遷移保護的困難,集群網絡隔離規模的受限,數據中心整體網絡資源的受限等問題。正是在這個歷史背景下,以 vxlan為代表的Overlay網絡粉墨登場。
1. 什么是Overlay網絡?1.1 Overlay 網絡的基本架構組成Overlay 網絡技術是指在傳統網絡架構之上疊加的虛擬化技術模式 。也就是說它是依托于傳統網絡架構的前提條件下, 實現了應用與其虛擬網絡的捆綁而忽略底層物理網絡的傳輸模式及技術。要了解 Overlay 網絡架構體系,首先我們需要知道它的組成架構及元素,要了解這些東西,我們必須從它與傳統物理網絡架構的差異入手來詳細了解, 具體如 圖 1.1 所示:
【資料圖】
圖 1.1 Overlay & 傳統物理網絡架構
如圖 1.1所示,Overlay網絡架構是依托于底層物理網絡層建立的一層虛擬化網絡,也就是說我們把傳統的物理網絡經過部分調整之后,通過邏輯抽象的方式建立了一套虛擬的傳輸通道。那么大家可能有一個問題:“在這張虛擬網絡當中,我們如何完成數據傳輸?”
既然建立了虛擬網絡通道,那么應用傳輸的數據報文就必須是以虛擬網絡可以識別的數據報文為基礎進行數據報文的發送和傳輸,同時必須遵照虛擬網絡當中的通道控制標準來傳輸。但是報文的物理傳輸過程我們又不得不依靠傳統物理網絡來實現,這樣的話就涉及到報文的封裝和解封、邏輯通道的維護、數據的邏輯轉發和物理轉發等問題。這就涉及到Overlay 網絡的三類核心元素:
邊緣設備:與虛擬網絡直接關聯的網絡設備,數據報文的封裝/解封場所,同時它也是形成虛擬網絡的物理節點,如圖中所示的物理交換機(必須是支持Overlay協議的交換機)??刂破矫妫嚎蚣墚斨械奶摂M實體,負責虛擬網絡傳輸當中的服務發現、地址通告和映射、虛擬網絡通道建立和維護等,如圖中虛擬層當中的控制流。數據平面:框架當中的虛擬實體,主要負責數據報文在虛擬層的轉發,如圖中虛擬層的數據流。1.2Overlay 網絡傳輸的基本規則傳統網絡在數據傳輸的時候,遵循的基本規則就是網絡的七層模型。也就是說數據需要經過源的封包和目的端的解包過程,封包的時候是從應用層信息逐步封裝到物理層,解包的時候是從物理層分解到應用層。在物理網絡環境當中的基本尋址規則是靠 IP地址信息和MAC地址信息來進行路由轉發。那么在Overlay網絡當中,它也是會遵循這一基本規則,但是區別在哪里呢?
圖 1. 2 Overlay & 傳統物理網絡架構
以VXLAN為例,我們結合圖1.2來看其基本的傳輸規則。首先我們來看Overlay網絡的邊緣設備ABC三個點,這三個點是支撐Overlay虛擬網絡的核心設備,我們稱之為VTEP。服務器的數據包在經過這些邊緣設備的時候,會對數據包進行二次封裝,會把發送端VTEP和目的端VTEP的地址或標識信息封裝到數據包,然后通過VTEP的控制平面將數據在兩個VTEP之間完成傳輸,然后再目的端的VTEP上將數據包再進行解封,最終發送到目的服務器上。這里大家可能會有幾個問題:
如果是L3的傳輸,這么做不是多此一舉么?如果是L2的傳輸,源端VTEP如何知道目的MAC、IP對應的VTEP信息?VTEP之間的傳輸不也得依賴物理網絡么?它是如何從源端傳遞到目的端的?首先,針對第一個問題,如果是L3的傳輸,這么做確實有些多此一舉,所以源端VTEP會判斷是否是真實的L3傳輸,如果是的話,那么可以拋開VTEP信息,按照傳統方式傳輸。
接著,針對第二個問題,所有VTEP節點所轄設備的MAC信息都會在VTEP上有保留,同時其他VTEP上的MAC地址映射信息也會相互同步過來,所以一旦獲取數據包中目的地址信息,VTEP就可以判斷目的地屬于哪一個VTEP管轄范圍,然后就可以通過控制器轉發。
最后,從一個VTEP到另外VTEP的傳輸,完全是靠著VTEP本身的IP、MAC地址信息來進行傳輸。
可見,無論是L2還是L3的傳輸,均涉及到查表轉發、報文的解封裝和封裝操作。從轉發效率和執行性能來看,都只能在物理網絡設備(Overlay邊緣設備)上實現,并且傳統設備無法支持,必須通過新的硬件形式來實現。
1.3Overlay 網絡的技術標準目前在 Overlay 技術領域有如下三大技術路線正在討論:
(1).VXLAN
VXLAN是將以太網報文封裝在UDP傳輸層上的一種隧道轉發模式。為了使VXLAN充分利用承載網絡路由的均衡性,VXLAN通過將原始以太網數據頭(MAC、IP、四層端口號等)的HASH值作為UDP的號;采用24比特標識L2網絡分段標識,稱為VNI(VXLAN Network Identifier);未知目的、廣播、組播等網絡流量均被封裝為組播轉發,物理網絡要求支持任意源組播(ASM)。
(2)NVGRE
NVGRE是借助通用路由封裝協議進行報文封裝的一種隧道轉發模式。它使用GRE頭部的低24位作為租戶網絡標識符(TNI)。為了提供描述帶寬利用率粒度的流,傳輸網絡需要使用GRE頭,但是這導致NVGRE不能兼容傳統負載均衡,這是NVGRE與VXLAN相比最大的區別也是最大的不足。NVGRE不需要依賴泛洪和IP組播進行學習,而是以一種更靈活的方式進行廣播,但是這需要依賴硬件。NVGRE支持減小數據包MTU以減小內部虛擬網絡數據包大小。
(3) STT
STT 是借助 TCP 對報文封裝的一種隧道轉發模式 , 它改造了TCP的傳輸機制,是 一種 全新定義的無狀態機制,將TCP各字段意義重新定義,無需三次握手建立TCP連接, 亦 稱 之 為無狀態TCP 。以太網數據封裝在無狀態TCP;采用64比特標識 L2 網絡分段;通過將原始以太網數據頭(MAC、IP、 L4 端口號等)HASH值作為無狀態TCP的源端口號 進行網絡負載均衡 。
這三種Overlay技術, 共同的技術模式都是將以太網報文進行改造封裝承載到邏輯隧道層面進行轉發,差異的技術特性在于封裝和構造隧道的不同,而底層均是IP轉發。VXLAN和STT對于現網設備對流量均衡要求較低,即負載鏈路負載分擔適應性好,一般的網絡設備都能對L2-L4的數據內容參數進行鏈路聚合或等價路由的流量均衡 。而NVGRE則需要網絡設備對GRE擴展頭感知并對flow ID進行哈希計算 ,需要硬件支持 ;以下是三種 Overlay技術標準的具體差異描述。
表 1. 1 Overlay 技術標準對比
技術標準 | 支持方式 | 虛擬化方式 | 封裝報文 | 鏈路負載能力 |
VXLAN | UDP | 24 bit VNI | 50Byte | L2-L4 HASH |
NVGRE | GRE | 24 bit VSI | 42Byte | N/A |
STT | 無狀態TCP | 64 bit CID | 58~76Byte | L2-L4 HASH |
通過以上分析,我們基本認識了 Overlay網絡的基本架構和其基本的傳輸規則。那么大家一定非常想知道這種技術為什么會在云計算這個大的技術背景之下粉墨登場?它究竟能解決我們這個特定的歷史時期下的什么特定問題呢?其實總結起來有三個,都跟大規模的云數據中心應用場景有關系。
2.1Overlay 網絡如何解決L2的空間局限性雖然很多傳統行業仍然在使用物理機部署服務,但是越來越多的計算任務已經跑在虛擬機以及容器上上,Kuberentes 目前已經是容器編排領域的事實標準了。因為日常的更新維護以及突發的故障,集群中的大規模虛擬機及容器遷移是比較常見的事情。
當虛擬機所在的宿主機因為維護或者其他原因宕機時,當前實例就需要遷移到其他的宿主機上,為了保證業務不中斷,我們需要保證遷移過程中的IP 地址不變,因為 Overlay 是在網絡層實現L2網絡,所以多個物理機之間只要網絡層可達就能組建虛擬的局域網,虛擬機或者容器遷移后仍然處于同一個二層網絡,也就不需要改變 IP地址,上千臺物理機組成的大集群使得集群內的資源調度變得更加容易,我們可以通過虛擬機遷移來提高資源的利用率、容忍虛擬機的錯誤并提高節點的可移植性。
圖 2 . 1 Overlay 網絡架構下的虛擬機遷移
如上圖所示,遷移后的虛擬機與其他的虛擬機雖然位于不同的數據中心,但是由于上述兩個數據中心之間可以通過IP 協議連通,所以遷移后的虛擬機仍然可以通過 Overlay 網絡與原集群的虛擬機組成L2網絡,對于應用來講,它對外發布的地址沒有變化,對于虛擬機來講,它只知道遠方的主機與本地的主機是可以組成L2互通局域網的,是可以做VMotion的。但是,真正的數據遷移確在底層經歷了傳統網絡設備的L3傳輸。無論底層做了什么樣的傳輸轉換,只要上層協議達到應用要求的遷移條件即可。這樣跨地域的L2資源遷移就不再成為不可解決的難題了。沒有這種技術的支撐,恐怕就算是裸光纖連接也解決不了這個問題,畢竟光纖的距離是受限的。
2.2Overlay 網絡如何解決網絡規模受限Kuberentes 官方支持的最大集群為 5000節點,通常每個節點上會有很多容器,所以整個集群的資源規??梢赃_到幾萬甚至幾十萬。當某個容器向集群中發送 ARP 請求,集群中的全部容器都會收到ARP請求,這時會帶來極高的網絡負載,傳統網絡技術是無法容忍這種規模的網絡請求。在使用 VxLAN 搭建的 Overlay 網絡中,網絡會將發送的數據重新封裝成 IP數據包,這樣網絡只需要知道不同 VTEP 的 MAC 地址,由此可以將 MAC 地址表項中的幾十萬條數據降低到幾千條,ARP 請求也只會在集群中的 VTEP 之間擴散,遠端的 VTEP 將數據拆包后也僅會在本地廣播,不會影響其他的 VTEP,雖然這對于集群中的網絡設備仍然有較高的要求,但是已經極大地降低了核心網絡設備的壓力。
另外, 在 L2 網絡環境下,數據流均需要通過明確的網絡尋址以保證準確到達目的地,因此網絡設備的MAC地址表,成為決定了云計算環境下虛擬機的規模的上限,并且因為表項并非百分之百的有效性,使得可用的虛機數量進一步降低,特別是對于低成本的接入設備而言,因其表項一般規格較小,限制了整個云計算數據中心的虛擬機數量 。使用了 Overlay技術之后,這個MAC地址表的存儲轉移到了VTEP設備之上, 雖然核心或網關設備的MAC與ARP規格會隨著虛擬機增長也面臨挑戰,但對于此層次設備能力而言,大規格是不可避免的業務支撐要求。減小接入設備規格壓力的做法可以是分離網關能力,采用多個網關來分擔虛機的終結和承載。
2.3Overlay 網絡如何解決網絡隔離問題大規模的數據中心往往都會對外提供云計算服務,同一個物理集群可能會被拆分成多個小塊分配給不同的租戶,因為 L2 網絡的數據幀可能會進行廣播,所以出于安全的考慮這些不同的租戶之間需要進行網絡隔離,避免租戶之間的流量互相影響甚至惡意攻擊。當前的主流網絡隔離技術為VLAN,在大規模虛擬化環境部署會有兩大限制:
首先, VLAN數量在標準定義中只有12個比特單位,即可用的數量為4000個左右,這樣的數量級對于公有云或大型虛擬化云計算應用而言微不足道 。其次, VLAN技術當前為靜態配置型技術(只有EVB/VEPA的802.1Qbg技術可以在接入層動態部署VLAN,但也主要是在交換機接主機的端口為常規部署,上行口依然為所有VLAN配置通過),這樣使得整個數據中心的網絡幾乎為所有VLAN被允許通過,導致未知目的廣播數據會在整網泛濫,無節制消耗網絡交換能力與帶寬。
如果采用了 Overlay網絡技術,那么就會避免上述問題,以VXLAN為例:
首先,VxLAN 會使用 24 比特的 VNI 表示虛擬網絡個數,總共可以表示 16,777,216 個虛擬網絡,遠遠超過了VLAN的4000個,這個數量足以滿足今天云計算數據中心的大規模集群要求。其次,VXLAN在L2傳輸的時候是在VTEP節點把數據進行封裝,使得更多的L2廣播在VTEP節點處轉化為有目的的L3傳輸,從而避免了無節制的網絡資源消耗。既滿足了大規模集群網絡隔離問題,同時也提高了這種情況下的網絡傳輸安全性。
3. Overlay 網絡技術的缺陷任何事物都不可能是完美的, Overlay技術也是一樣 。
我們從 Overlay技術的原理基本可以判斷,Overlay網絡與傳統網絡相比而言,性能可能會是它的問題所在,因為Overlay網絡無論是哪一種技術標準,都會經歷數據包再次封裝和再次解封的問題,這個無疑會給數據傳輸帶來性能上的延時。圖3.1是我們截取到的試驗結果:
圖 3 . 1 VXLAN 性能對比
上述圖中表示的是在 VMware環境當中,默認網絡配置下的虛擬機和VXLAN配置下的虛擬機傳輸指標的對比情況, 從圖中試驗結果 判斷,在VXLAN環境下,無論虛擬機如何變化,其傳輸的吞吐量都會低于我們正常網絡配置下的指標。
在我們的企業IT環境當中,各種類型的應用都會存在,有的對網絡性能要求非常高,例如金融行業的交易型數據庫集群,不同集群節點之間的數據交互量從數據大小和傳輸頻率等各方面都超乎一般的應用,尤其是鎖信息、數據緩存塊、心跳信息都是直接影響數據庫運行的關鍵因素。因此我們在應用VXLAN的時候也需要考慮到它的不足之處,選擇合適的應用場景。
4. 總結展望通過本文第 1、2節的分析 , 我們了解到 Overlay網絡技術的基本框架、數據傳輸原理以及基本的技術標準,同時也了解了Overlay網絡技術流行的根本原因和必然趨勢 。通過第 3節的分析,我們也了解到Overlay技術本身的一些缺陷。那么相信在應用選擇的過程當中,大家可能會更準確把握。但是隨著技術的發展以及企業的應用經驗豐富,如何通過改進的方式或者是架構的調整,避免其必然的劣勢,發揮其天然的優勢是我們后續需要討論的問題,也是我們希望看到的內容。?
X 關閉
X 關閉
- 1亞馬遜開始大規模推廣掌紋支付技術 顧客可使用“揮手付”結賬
- 2現代和起亞上半年出口20萬輛新能源汽車同比增長30.6%
- 3如何讓居民5分鐘使用到各種設施?沙特“線性城市”來了
- 4AMD實現連續8個季度的增長 季度營收首次突破60億美元利潤更是翻倍
- 5轉轉集團發布2022年二季度手機行情報告:二手市場“飄香”
- 6充電寶100Wh等于多少毫安?鐵路旅客禁止、限制攜帶和托運物品目錄
- 7好消息!京東與騰訊續簽三年戰略合作協議 加強技術創新與供應鏈服務
- 8名創優品擬通過香港IPO全球發售4100萬股 全球發售所得款項有什么用處?
- 9亞馬遜云科技成立量子網絡中心致力解決量子計算領域的挑戰
- 10京東綠色建材線上平臺上線 新增用戶70%來自下沉市場