大規(guī)模SDN云計算數(shù)據(jù)中心組網(wǎng)的架構(gòu)設(shè)計

開發(fā)技術(shù) 2019/3/14

本文首先分析了在大規(guī)模SDN數(shù)據(jù)中心組網(wǎng)中遇到的問題。一方面Underlay底層組網(wǎng)規(guī)模受限于設(shè)備實際的轉(zhuǎn)發(fā)能力和端口密度，單一Spine-leaf的Fabric架構(gòu)無法滿足大規(guī)模組網(wǎng)的需求;另一方面在SDN技術(shù)實現(xiàn)方案上，Openstack和SDN控制器分別有管理控制能力上的限制。

SDN

本文分別從多POD大規(guī)模數(shù)據(jù)中心的Underlay組網(wǎng)及路由規(guī)劃，和跨POD互聯(lián)互通SDN技術(shù)實現(xiàn)方案兩方面，深入到技術(shù)細節(jié)，結(jié)合網(wǎng)絡(luò)業(yè)務(wù)流量模型的實現(xiàn)，闡述了大規(guī)模SDN數(shù)據(jù)中心組網(wǎng)架構(gòu)。

1. 大規(guī)模SDN數(shù)據(jù)中心組網(wǎng)需解決問題分析

大規(guī)模的SDN數(shù)據(jù)中心組網(wǎng)需實現(xiàn)幾萬臺服務(wù)器作為一個資源池來承載和編排調(diào)度。綜合考慮Underlay組網(wǎng)以及SDN解決方案的實現(xiàn)，主要有以下三個方面的問題需要解決。

(1) 在數(shù)據(jù)中心Underlay組網(wǎng)層面。雖然隨著芯片不斷的升級換代，數(shù)據(jù)中心交換機處理轉(zhuǎn)發(fā)能力極大提升，但是基于目前的數(shù)據(jù)中心交換機端口能力，同時考慮到每個機房實際機柜的數(shù)目，以及機房間跨機房布線的難易程度，單一的Spine-leaf兩層架構(gòu)組網(wǎng)不能滿足上萬服務(wù)器的承載需求。

例如在一個數(shù)據(jù)中心組網(wǎng)中，選用目前業(yè)界主流廠商成熟的16槽的核心交換機設(shè)備為Spine，100G板卡端口密度是20個/板卡，40G板卡端口密度是30個/板卡;選用配置48個萬兆6個40G的接入交換機為Leaf。Leaf到Spine全互聯(lián)，Spine核心數(shù)量滿配6臺，核心交換機各配置2塊100G板卡用于連接外部防火墻、專網(wǎng)或?qū)＞€路由設(shè)備等。在滿足帶寬1：1收斂比的情況下，經(jīng)計算單一Spine-Leaf架構(gòu)最多能支持服務(wù)器的數(shù)量為5760臺，不能滿足幾萬臺服務(wù)器的承載需求。

(2) SDN控制器的管理規(guī)模和管理范圍。SDN控制器管理VSW或者硬件交換機會啟用TCP長連接，從占用CPU內(nèi)存資源，數(shù)量過多的被納管設(shè)備將極大地消耗SDN控制器的資源，進而降低控制器的性能，這是SDN控制器管理規(guī)模主要限制因素。SDN控制器的管理范圍主要受控制器和被納管設(shè)備間的網(wǎng)絡(luò)時延限制，因此SDN控制器建議本地部署而不建議長距離異地遠程管理。目前主流設(shè)備廠家在SDN控制器3機集群的情況下，可以管理2000個VSW或者1000個硬件SDN交換機。

(3) 云操作系統(tǒng)Openstack的管理能力。Openstack是集中式消息處理機制，所有交互操作會到指令層面進行拆分，而指令并發(fā)處理能力低，主要以單進程隊列方式進行。比如資源池內(nèi)同時對100臺虛擬機進行操作的場景，交互操作進行指令拆分處理時，因指令并發(fā)處理能力差，拆解出的大量指令不得不排隊等待執(zhí)行，Openstack系統(tǒng)此時的交互操作響應效率和及時性都會惡化，影響用戶的實際感知。

Cell技術(shù)可以極大地提升Openstack平臺的消息處理效率，Nova可以擴展為多個Nova處理節(jié)點，每個節(jié)點有獨立的數(shù)據(jù)庫，采用數(shù)據(jù)庫同步的方式，實現(xiàn)多個nova節(jié)點的協(xié)同和分布式工作。但是，Openstack系統(tǒng)性能是和企業(yè)的實際研發(fā)能力密切相關(guān)的，目前基于開源Openstack研發(fā)的主流廠家產(chǎn)品，管理能力為500臺虛擬化Host(5000個VM)或者3000臺裸金屬服務(wù)器。

2. 大規(guī)模SDN數(shù)據(jù)中心的多POD組網(wǎng)架構(gòu)

由于單一Spine-Leaf結(jié)構(gòu)的Underaly網(wǎng)絡(luò)接入承載能力，Openstack平臺的管理能力以及SDN控制器的控制范圍、控制規(guī)模的限制，因此在大規(guī)模SDN數(shù)據(jù)中心組網(wǎng)時，需要分解成多個單獨的Spine-Leaf模塊進行部署。模塊間通過統(tǒng)一的應用層借助于SDN-DCI技術(shù)進行協(xié)同，實現(xiàn)整個數(shù)據(jù)中心資源池的統(tǒng)一管理和編排。每個單獨的Spine-leaf模塊為一個單獨的Fabric，也稱為一個POD(Point of Delivery)。

POD內(nèi)組網(wǎng)采用標準SDN數(shù)據(jù)中心架構(gòu)，每個POD單獨的Openstack云操作系統(tǒng)和SDN控制器。根據(jù)主流廠家的Openstack云操作系統(tǒng)產(chǎn)品性能指標，限定POD內(nèi)的裸金屬服務(wù)器場景下支持服務(wù)器數(shù)量3000臺，虛擬化服務(wù)器場景下支持服務(wù)器Host主機數(shù)量500臺。同時根據(jù)主流廠商的SDN控制器性能，限定POD內(nèi)的硬件交換機數(shù)量不大于1000臺，VSW數(shù)量不大于2000臺。

多POD的大規(guī)模SDN數(shù)據(jù)中心組網(wǎng)，POD內(nèi)Underlay組網(wǎng)是標準的Spine-Leaf架構(gòu)。POD內(nèi)SDN-GW可以和Spine合設(shè)也可以旁掛Spine部署，防火墻、負載均衡設(shè)備旁掛SDN-GW部署。

目前SDN-GW主要是兩臺堆疊部署，以便于SDN控制器的統(tǒng)一管理，因此如果POD規(guī)模較大，需要兩臺以上Spine時，不建議SDN-GW和Spine合設(shè)，SDN-GW應單獨旁掛部署。

為實現(xiàn)POD之間的流量互通，設(shè)置東西向流量匯聚核心交換機Core-Spine用于承載跨POD的東西向流量;為實現(xiàn)POD內(nèi)到外網(wǎng)的互訪，設(shè)置南北向流量匯聚核心交換機Out-Spine用于承載南北向流量。東西向流量匯聚核心交換機和南北向匯聚核心交換機的數(shù)量可以根據(jù)實際的POD規(guī)模、POD數(shù)量和網(wǎng)絡(luò)收斂比要求靈活計算。POD內(nèi)Spine到POD間匯聚核心交換機一般是跨機房互聯(lián)，為提高鏈路利用率，應采用100G光模塊互聯(lián)。

如果POD間東西向流量規(guī)劃很大，建議POD內(nèi)Spine直接上連東西向匯聚交換機。此時的流量模型為，POD間互通流量從POD內(nèi)Spine去到SDN-GW，SDN-GW解開原有VXLAN封裝，再將互通流量導入不同的互聯(lián)VNI后發(fā)回給Spine，最后由Spine發(fā)送到東西匯聚交換機。此流量模型下相同業(yè)務(wù)流量會穿越POD內(nèi)Spine兩次，因此如果流量規(guī)劃完全在SDN-GW交換機設(shè)備的承受范圍內(nèi)，建議由SDN-GW上連東西向匯聚交換機，這樣可以減少POD內(nèi)Spine上的來回穿透流量。

大規(guī)模SDN數(shù)據(jù)中心多POD組網(wǎng)架構(gòu)

圖1.大規(guī)模SDN數(shù)據(jù)中心多POD組網(wǎng)架構(gòu)

POD內(nèi)的SDN數(shù)據(jù)中心轉(zhuǎn)發(fā)控制技術(shù)實現(xiàn)方案，可以是Openflow+Netconf也可以是EVPN+Netconf。虛擬機場景推薦使用表項更大更靈活的VSW作為VTEP，從而采用Openflow+Netconf方案。裸金屬服務(wù)器場景采用硬件SDN接入交換機作為VTEP，可以根據(jù)具體網(wǎng)絡(luò)設(shè)備能力情況靈活選擇EVPN+Netconf的方案或者Openflow+Netconf的方案。

在Openflow+Netconf和EVPN+Netconf混合部署的場景，需要在SDN控制器上進行兩種控制技術(shù)方案的翻譯和打通。SDN控制器和SDN-GW建立EVPN鄰居，將EVPN控制面的信息翻譯成Openflow發(fā)送給VSW，將VSW的相關(guān)Openflow信息翻譯成EVPN控制信息發(fā)送給硬件SDN交換機。從而控制實現(xiàn)在VSW和硬件SDN交換機之間建立VXLAN隧道和轉(zhuǎn)發(fā)數(shù)據(jù)。

POD間互聯(lián)的方案將完全借鑒SDN-DCI的相關(guān)技術(shù)，采用EVPN+VXLAN的技術(shù)。POD內(nèi)的SDN-GW將同時作為DCI-GW，與不同POD的SDN-GW間建立EVPN鄰居，在統(tǒng)一的協(xié)同層的控制下實現(xiàn)跨POD流量的互通。

共享分布式塊存儲、分布式文件存儲、分布式對象存儲可以單獨規(guī)劃組成存儲POD。訪問存儲POD的流量在SDN-GW解開VXLAN封裝以后走Underaly網(wǎng)絡(luò)路由轉(zhuǎn)發(fā)達到存儲POD。在POD內(nèi)配置單獨的VRF用于隔離訪問存儲的流量和其他業(yè)務(wù)流量。存儲POD有訪問外網(wǎng)需求的，存儲匯聚交換機規(guī)劃上連南北匯聚交換機。FC SAN存儲建議直接部署在各POD內(nèi)。

存儲POD網(wǎng)絡(luò)規(guī)劃圖

圖2.存儲POD網(wǎng)絡(luò)規(guī)劃圖

3. 大規(guī)模SDN數(shù)據(jù)中心Underlay組網(wǎng)及路由規(guī)劃

多POD的大規(guī)模數(shù)據(jù)中心的Underlay組網(wǎng)，網(wǎng)絡(luò)內(nèi)網(wǎng)絡(luò)設(shè)備數(shù)量眾多，按每POD內(nèi)500臺網(wǎng)絡(luò)設(shè)備數(shù)量計算，10個POD組網(wǎng)網(wǎng)絡(luò)設(shè)備將超過5000臺，因此如何規(guī)劃好Underlay層面的路由配置，對大規(guī)模數(shù)據(jù)中心網(wǎng)絡(luò)的高性能轉(zhuǎn)發(fā)非常重要。

普通數(shù)據(jù)中心場景IGP路由主要是以O(shè)SPF路由為主，OSPF路由技術(shù)成熟，網(wǎng)絡(luò)建設(shè)運維人員使用經(jīng)驗豐富。使用OSPF作為大規(guī)模數(shù)據(jù)中心組網(wǎng)的IGP路由協(xié)議，各POD應劃分為不同的Area區(qū)域，東西匯聚交換機作為骨干區(qū)域Area0，以減少LSA的傳播區(qū)域和傳播數(shù)量。各POD內(nèi)SDN-GW作為OSPF區(qū)域邊界網(wǎng)絡(luò)設(shè)備，將不同接口劃入不同的區(qū)域，上連東西匯聚交換機接口劃入Area0，下連POD內(nèi)Spine接口劃入各POD單獨Area。南北匯聚交換機一般工作在二層透傳模式，三層終結(jié)在外網(wǎng)防火墻，因此南北匯聚交換機可不運行路由協(xié)議。

大規(guī)模數(shù)據(jù)中心組網(wǎng)OSPF路由規(guī)劃

圖3.大規(guī)模數(shù)據(jù)中心組網(wǎng)OSPF路由規(guī)劃

相比較OSPF，ISIS 支持ISPF(Incremental SPF)，對大規(guī)模網(wǎng)絡(luò)的支持能力和收斂性能更好。ISIS支持靈活的TLV編碼方式，協(xié)議擴展性更好。ISIS因其收斂速度快、結(jié)構(gòu)清晰、適用于較大規(guī)模網(wǎng)絡(luò)，一直比較多應用于城域網(wǎng)場景或者IP專網(wǎng)場景作為IGP路由協(xié)議。隨著數(shù)據(jù)中心規(guī)模越來越大、設(shè)備數(shù)量越來越多，ISIS也更多的應用于數(shù)據(jù)中心場景。ISIS的區(qū)域邊界在鏈路，每臺網(wǎng)絡(luò)設(shè)備只能屬于一個ISIS區(qū)域。為減少LSP的傳播區(qū)域和傳播數(shù)量，在大規(guī)模數(shù)據(jù)中心場景ISIS分層次進行規(guī)劃，骨干區(qū)域包括POD間東西匯聚交換機和每個POD內(nèi)的SDN-GW。POD間東西匯聚交換機運行ISIS level2，POD內(nèi)的SDN-GW運行ISIS的level-1-2。每個POD內(nèi)Spine和Leaf運行ISIS level1。

大規(guī)模數(shù)據(jù)中心組網(wǎng)ISIS路由規(guī)劃

圖4.大規(guī)模數(shù)據(jù)中心組網(wǎng)ISIS路由規(guī)劃

RFC7938提出了將EBGP路由協(xié)議應用于大規(guī)模數(shù)據(jù)中心的建議，而且目前也有少量將EBGP應用于數(shù)據(jù)中心內(nèi)作為底層路由協(xié)議的實例。有別于OSPF、ISIS等鏈路狀態(tài)協(xié)議，BGP是一種距離矢量路由協(xié)議，因此BGP的擴展性更好。在中小型的數(shù)據(jù)中心組網(wǎng)時，使用BGP和使用ISIS、OSPF等鏈路狀態(tài)協(xié)議性能區(qū)別不大，但是在超大型數(shù)據(jù)中心的網(wǎng)絡(luò)中，應用BGP的性能會更優(yōu)。OSPF、ISIS等鏈路狀態(tài)協(xié)議需要在網(wǎng)絡(luò)內(nèi)傳遞大量的LSA，路由信息生成過程是先完成LSA信息同步，再計算生成路由信息。在網(wǎng)絡(luò)部分節(jié)點發(fā)生變動或者網(wǎng)絡(luò)割接升級時，會引起大量LSA的傳遞。而距離矢量路由協(xié)議BGP不存在這樣的問題，BGP節(jié)點間直接通告路由，在網(wǎng)絡(luò)擴展和割接升級時的網(wǎng)絡(luò)穩(wěn)定性更好。

目前關(guān)于OSPF和ISIS路由協(xié)議的LSA優(yōu)化在IETF已經(jīng)有相應的draft，目的都是為了減少LSA的傳播數(shù)量和傳播范圍，已使OSPF和ISIS在超大規(guī)模數(shù)據(jù)中心組網(wǎng)中的性能更優(yōu)，但是目前并沒有非常有效的并被實際應用的方案。雖然目前將EBGP應用于數(shù)據(jù)中心應用并不廣泛，但是未來超大規(guī)模數(shù)據(jù)中心的底層路由協(xié)議選擇，距離矢量路由協(xié)議BGP很可能會得到更廣泛的應用。

EBGP路由的規(guī)劃和配置相對于OSPF和ISIS會復雜一些。POD內(nèi)的多臺Spine設(shè)備規(guī)劃為同一AS號，多臺東西匯聚交換機規(guī)劃為同一AS號，每組堆疊Leaf規(guī)劃一個單獨 AS號。雖然每個POD內(nèi)Leaf只和本POD內(nèi)Spine建立EBGP鄰居，Leaf間不建立EBGP鄰居，但是Spine上仍然需要配置大量的Leaf鄰居信息。規(guī)劃配置復雜，是限制EBGP在數(shù)據(jù)中心內(nèi)應用的因素之一。

在使用EBGP作為底層路由協(xié)議的大規(guī)模數(shù)據(jù)中心，如果POD內(nèi)同時以EVPN+Netconf為轉(zhuǎn)發(fā)控制方案，POD內(nèi)EVPN需以IBGP為基礎(chǔ)建立，因此需要一臺網(wǎng)絡(luò)設(shè)備同時配置EBGP+IBGP兩個不同AS號的BGP進程。目前已經(jīng)有主流廠家網(wǎng)絡(luò)設(shè)備支持不同AS號的BGP雙進程。

常規(guī)BGP報文AS號為16比特長度，取值范圍為0-65535，其中私有AS號范圍64512到65534，因此可用于數(shù)據(jù)中心內(nèi)組網(wǎng)規(guī)劃的私有AS號數(shù)量為1023個。按照每組堆疊Leaf一個AS號的原則，顯然無法滿足多POD大規(guī)模數(shù)據(jù)中心組網(wǎng)的AS號分配需求。RFC6793建議將BGP的AS號擴展到32比特長度，擴展后AS號數(shù)量滿足大規(guī)模數(shù)據(jù)中心組網(wǎng)已經(jīng)完全沒有問題，且目前業(yè)界主流設(shè)備已具備32比特AS號長度的支持能力。

大規(guī)模數(shù)據(jù)中心組網(wǎng)EBGP路由規(guī)劃

圖5.大規(guī)模數(shù)據(jù)中心組網(wǎng)EBGP路由規(guī)劃

SDN數(shù)據(jù)中心的管理網(wǎng)除了滿足傳統(tǒng)的設(shè)備帶外管理功能，還要部署Openstack云管理平臺和SDN控制器，因此相比傳統(tǒng)數(shù)據(jù)中心的管理網(wǎng)更加重要。隨著數(shù)據(jù)中心規(guī)模的增大，管理網(wǎng)的規(guī)模也必然同時增大，因此大規(guī)模數(shù)據(jù)中心的管理網(wǎng)也需要分POD部署。POD內(nèi)管理網(wǎng)核心交換機配置各網(wǎng)段網(wǎng)關(guān)，管理網(wǎng)接入交換機工作在二層VLAN透傳模式。管理網(wǎng)POD間設(shè)置管理匯聚交換機，POD內(nèi)管理網(wǎng)核心和POD間匯聚交換機三層互聯(lián)，可以運行ISIS或者OSPF路由協(xié)議。為了減小POD內(nèi)管理網(wǎng)廣播域使管理網(wǎng)更加穩(wěn)定，也可以將管理網(wǎng)段的網(wǎng)關(guān)配置在管理接入交換機上，規(guī)劃三層到邊緣的管理網(wǎng)絡(luò)，但是這樣做同時帶來的弊端是需要更詳細的管理地址規(guī)劃，過于細分的管理地址規(guī)劃會在一定程度上浪費地址資源，因此三層到邊緣的管理網(wǎng)規(guī)劃并不常見。

4. 大規(guī)模SDN數(shù)據(jù)中心POD間互聯(lián)互通

大規(guī)模SDN數(shù)據(jù)中心需要將不同POD內(nèi)資源統(tǒng)一管理和調(diào)度，構(gòu)造大規(guī)模數(shù)據(jù)中心統(tǒng)一資源池。大規(guī)模SDN數(shù)據(jù)中心采用SDN-DCI技術(shù)實現(xiàn)POD間互聯(lián)互通。

SDN-DCI技術(shù)通過EVPN+VXLAN建立跨POD互聯(lián)通路，管理面采用EVPN協(xié)議，數(shù)據(jù)面采用VXLAN隧道承載。POD內(nèi)的SDN-GW將同時作為DCI-GW，各POD的SDN-GW之間配置運行Full mesh的EBGP協(xié)議。基于EBGP協(xié)議，各POD的SDN-GW之間建立EVPN鄰居關(guān)系，通過EVPN建立互聯(lián)互通的控制面，傳遞租戶VPC內(nèi)(Virtual Private Cloud)的MAC、ARP和IP網(wǎng)段路由信息。

大規(guī)模數(shù)據(jù)中心部署統(tǒng)一云管理平臺，協(xié)同編排各POD內(nèi)SDN控制器實現(xiàn)跨POD網(wǎng)絡(luò)業(yè)務(wù)流量互通。考慮到實際網(wǎng)絡(luò)部署時，POD間很可能為異廠家設(shè)備，因此云管理平臺需要對接不同廠家SDN控制器，為此需定義標準的SDN控制器到云管平臺的北向API開放接口，異廠家SDN控制器據(jù)此標準接口接收云管平臺指令并控制本POD內(nèi)轉(zhuǎn)發(fā)設(shè)備完成指令的執(zhí)行。

跨POD互通EVPN+VXLAN技術(shù)方案示意圖

圖6.跨POD互通EVPN+VXLAN技術(shù)方案示意圖

通過分析大規(guī)模數(shù)據(jù)中心跨POD業(yè)務(wù)互聯(lián)互通需求，可以得出以下流量模型：同業(yè)務(wù)域同租戶跨POD互通，不過內(nèi)網(wǎng)防火墻;同業(yè)務(wù)域不同租戶跨POD互通，過內(nèi)網(wǎng)防火墻;不同業(yè)務(wù)域同租戶跨POD互通，過內(nèi)網(wǎng)防火墻;不同業(yè)務(wù)域不同租戶跨POD互通，過內(nèi)網(wǎng)防火墻。

將以上網(wǎng)絡(luò)流量模型總結(jié)分析，可以歸納簡化為兩種互通流量模型，即跨POD過防火墻互通和跨POD不過防火墻互通。在云管平臺跨POD互通業(yè)務(wù)接口指令模板中，增加防火墻狀態(tài)使能開關(guān)來決定是否過防火墻。另外考慮到流量模型的對稱，在過墻的場景下要求雙側(cè)POD內(nèi)均過墻。

跨POD互通不過防火墻流量，租戶流量在本地接入VTEP封裝進本地VXLAN隧道，到達POD內(nèi)SDN-GW解開本地VXLAN封裝，并重新封裝進互聯(lián)VXLAN后發(fā)往對端POD內(nèi)SDN-GW。流量達到對端POD內(nèi)SDN-GW后解開互聯(lián)VXLAN封裝，再封裝進相應租戶本地VXLAN隧道。不同業(yè)務(wù)的跨POD互通流量應予以隔離，需要為每組業(yè)務(wù)互通流量規(guī)劃一個單獨的VNI和VRF，并將VNI和VRF綁定。

跨POD不過防火墻流量模型

圖7.跨POD不過防火墻流量模型

跨POD互通過防火墻流量模型，租戶流量到達POD內(nèi)SDN-GW解開本地VXLAN封裝后通過VLAN二層轉(zhuǎn)發(fā)送往防火墻，防火墻處理完畢后送回SDN-GW，SDN-GW重新封裝進互聯(lián)VXLAN后發(fā)往對端POD內(nèi)SDN-GW。流量達到對端POD內(nèi)SDN-GW后解開互聯(lián)VXLAN封裝，通過VLAN二層轉(zhuǎn)發(fā)送往本POD內(nèi)防火墻，防火墻處理完畢后送回SDN-GW，SDN-GW再將流量封裝進相應租戶本地VXLAN隧道。

跨POD不過防火墻流量模型

圖8.跨POD不過防火墻流量模型

不同業(yè)務(wù)的跨POD互通流量應予以隔離，需要為每組業(yè)務(wù)互通流量規(guī)劃一個單獨的VNI和VRF，并將VNI和VRF綁定。對于部分需要經(jīng)過負載均衡設(shè)備處理的業(yè)務(wù)流量，可以由云管平臺統(tǒng)一編排流量經(jīng)過相應的負載均衡。

5. 大規(guī)模SDN數(shù)據(jù)中心南北向流量簡述

大規(guī)模SDN數(shù)據(jù)中心對南北向流量的處理，在引入多POD組網(wǎng)后，增加了南北匯聚交換機。由南北匯聚交換機分別上連互聯(lián)網(wǎng)防火墻、IP專網(wǎng)和專線路由器。南北匯聚交換機在互聯(lián)網(wǎng)南北業(yè)務(wù)流量的處理上工作在二層透傳模式，三層分別終結(jié)在SDN-GW和外網(wǎng)防火墻。在進出IP專網(wǎng)和專線的南北流量處理上可以視具體情況工作在二層透傳或者三層模式，工作在三層模式需要配置VRF進行不同業(yè)務(wù)流量的隔離。