交換架構是網絡設備的核心，就像人的心臟一樣重要。數據中心作為面向應用的綜合業務平臺和未來云計算的核心基礎架構，對網絡設備的交換架構提出了更完善、更苛刻的要求。讓以太網從傳統的“盡力而為”變成更為成熟的“無損網絡”，交換架構該如何演進？

一、         引言

網絡的高速發展特別是新一代數據中心及未來的云計算，對構建互聯網基礎架構的交換機和路由器的交換架構提出了更高要求，使其向著統一交換架構和業務融合、更大容量和帶寬、更精細的QoS保證、更高的可靠性和容錯性能等方向發展，以滿足不斷涌現的各種新型業務和應用。網絡設備的進步反過來進一步促進互聯網的普及和良性發展。

毫不夸張地說，交換架構是網絡設備的核心，就像人的心臟一樣重要。交換架構決定了一臺設備的容量、性能、擴展性以及QoS等諸多關鍵屬性。在其短短二十幾年的歷史中，先后出現了MESH架構交換、Crossbar矩陣交換和基于動態路由的CLOS交換架構等不同形態。對于代表業界發展水平的大容量或超大容量的機架式網絡設備而言，通常采用Crossbar矩陣交換或CLOS交換架構，MESH架構交換主要用于槽位數較少的框式交換機。

二、         數據中心對新一代交換架構的要求

交換架構的一般模型如圖1所示，在邏輯上由數據通道資源、控制通道資源這兩個相輔相成的部分構成。數據通道資源具體包括交換網及其端口帶寬、交換網適配器（FA：Fabric Adaptor）、流量管理器（TM：Traffic Manager）、緩存（Buffering）以及用于互聯的高速總線。控制通道資源則包括用于資源分配、業務調度、擁塞管理的流控單元、調度器（Scheduler），調度器有時也叫仲裁器（Arbiter）。完整意義上的交換架構還包括報文處理器（PP：Packet Processor）或網絡處理器（NP：Network Processor）。

圖1  交換架構一般模型

數據中心作為面向應用的綜合業務平臺和未來云計算的核心基礎架構，對網絡設備的交換架構提出了更完善、更苛刻的要求，主要包括：支持統一交換架構，大容量及高擴展性，轉發性能，業務調度和精細化QoS，彈性。

1、支持統一交換架構（Unified Switch Fabric）

數據中心目前存在相對獨立的三張網：數據網（Data）、存儲網（SAN）和高性能計算網（HPC）。為了便于未來的業務整合和服務提供、簡化管理、降低建設成本和運營維護成本，三網將逐步走向融合。要求網絡設備的交換架構能方便地擴展和支持FCoE、FC等接口及其轉發，從而與存儲網絡無縫融合；支持CEE（Convergence Enhanced Ethernet）增強型以太網等新型接口，使以太網從傳統的“盡力而為（Best-effort）”變成更為成熟的“無損網絡（Lossless）”。

2、大容量及高擴展性（Capacity & Scalability）

超寬帶時代正在來臨，以Youtube、iTunes、Facebook、GoogleEarth、網真系統、移動視頻等為代表的視頻流、音頻流、社交網絡、P2P、多媒體等業務正快速發展，對未來網絡提出了近乎無止境的帶寬需求。要求交換機具有大容量和優異的可擴展性，即隨著業務拓展而逐步擴展端口數、端口速率，從而提高端口容量。擴展性還包括能根據業務需要擴展新的端口類型，支持網絡資源虛擬化，支持集群系統等。

作為衡量系統交換能力和未來可擴展能力關鍵指標，交換機的交換容量相當于汽車的排量指標。新一代機架式數據中心交換機交換容量在1～10Tbps級別，集群系統更高達幾十Tbps。端口容量則指產品當前版本所能提供的最大網絡端口容量，由網絡端口速率乘以相應的線速端口數得出，表征了產品當前實際所能支持的線速轉發能力。同樣交換容量的產品，在不同版本和階段，可能有不同的端口容量；同樣交換容量的產品，由于交換架構總開銷不同，所能支持的端口容量也會不同。

端口速率：新一代架構要求除支持千兆、萬兆以太網端口之外，還要求每槽位能平滑支持一到多個40Gbps和100Gbps端口，這是帶寬發展過程中一個質的飛躍。

3、轉發性能

線速轉發性能：通常是指64字節小包的線速轉發能力，表征了系統處理報文頭的能力，在相同的端口流量下，64字節小包要求系統在單位時間內處理更多的報文數。轉發性能還要關注線速一致性，即大包小包都能線速，都不丟包；Pair模式、Full Mesh模式都能線速轉發。

轉發時延及時延抖動：目前存儲轉發技術的端口到端口時延在幾微秒到幾十微秒，可滿足絕大多數應用場合。Cut-through轉發時延可達到1微秒以下，主要用于少數對時延非常敏感的緊耦合高性能計算。時延抖動則指時延的一致性、時延可預測性，VoIP、視頻等實時業務通常要求低時延和時延一致性。

4、業務調度和精細化QoS

近年來帶寬需求的年增長達到50～70%，而帶寬供給年增長通常在30%。資源總是有限的，不可能給所有用戶、所有業務提供足夠的帶寬，從而導致實際的網絡是一個存在擁塞的網絡。網絡設備需要提供更完善和精細的QoS支持，即根據不同用戶不同業務的SLA要求，提供相應有保證或可預測的帶寬、丟包率、突發緩存能力、時延、時延抖動等指標承諾。

業務調度和隊列（Scheduling & Queuing）：沒有業務調度的交換架構就像沒有紅綠燈的十字路口，容易發生碰撞和事故，談不上QoS。粗放式調度就像每個方向有一個車道，有單一圓形紅綠燈的十字路口，比沒有紅綠燈有大幅改善，但容易阻塞。而精細化調度則好比每個方向有三個車道（左轉、直行、右轉），紅綠燈由三個對應的方向指示箭頭組成（左轉、直行、右轉箭頭），這種調度顯然效率更高、更加有序了。

在交換機里，車道就好比隊列，紅綠燈就好比調度器。隊列越多，就可以對流量進行更精細化的管理和調度，使到不同出口、不同優先級的業務轉發互不影響，消除頭阻塞。隊列越多，調度器也越復雜，設計復雜度也高，有的設備還支持層次化調度（H-QoS）。所能支持隊列數目也是網絡設備的關鍵指標之一，一般設備支持十幾、幾十到幾百條隊列不等，少數高端產品可以支持1K、十幾K或幾十K。

流分類和緩存（Classification & Buffering）：與業務調度緊密相關的就是流分類和緩存。流分類是對不同用戶和業務進行識別然后映射到不同的優先級和隊列。而沒有緩存或緩存太小，再好的調度也形同虛設或大打折扣。隨著應用越來越復雜，流量突發越來越大，越來越頻繁（比如搜索業務），足夠大的緩存對新一代數據中心至關重要。

5、交換架構的彈性（Resiliency）

彈性是指部件出現故障、或人為操作失誤時，能夠自動檢測到，并對故障進行隔離，從而讓系統功能性能不受損失或盡可能少受損失（Graceful Degradation）。包括冗余性（Redundancy）和容錯性（Fault Tolerance）。采用與主控板物理上獨立的N+1交換網板，即轉發平面和控制平面物理上分離有利于進一步提高系統的彈性。

三、         傳統的基于CIOQ的Crossbar交換架構

基于CIOQ（Combined Input Output Queuing：組合輸入輸出隊列）的Crossbar交換架構在上世紀90年代出現。如圖2所示，該架構包含一到多個并行工作的無緩存Crossbar芯片，每個Crossbar芯片通過交換網端口FP（Fabric Port）連接到所有輸入端口對應的FA端口和所有輸出端口對應的交換FA端口；業務調度通常采用集中仲裁器，連到所有的輸入輸出FA芯片和Crossbar芯片；出口FA定時或實時地向仲裁器報告出口擁塞情況。一次典型的交換過程包含三個步驟：（1）輸入端口發送業務前，入口FA先要向仲裁器請求發送（Request to transmit）;（2）仲裁器根據輸出端口隊列擁塞情況，給入口FA發送允許發送（Request granted）；（3）業務通過交換網轉發到輸出端口。

在入口方向，緩存采用VoQ（Virtual output Queuing：虛擬輸出隊列）方式給到不同目的輸出端口、不同優先級的業務流分配相應的隊列，對入口流量進行緩沖。在出口方向，也有一個緩存，用以吸收交換網過來的突發流量。因此稱之為CIOQ。

圖2   基于CIOQ的Crossbar交換架構

由于是集中調度，所以仲裁器的調度算法復雜度很高，性能擴展性較差，系統容量大時調度器容易形成瓶頸，難以做到精確調度。

由于是粗放型調度，所以在出口方向需要放一個比較大的緩存，并做進一步調度，以支持粒度更細的系統級QoS。為了充分利用出口緩存，需要提高系統加速比，加速比通常達到1.6～2，提高加速比意味著系統能支持的有效端口容量下降（加速比是指交換網端口速率與實際的網絡端口速率的比值）。

有些產品交換架構在幾何拓撲上將多個Crossbar連成與下文描述的CLOS架構相類似的形式，并采用靜態路由方式，即業務流進入交換網前，根據源端口指定或基于Hash算法選擇一條路徑。所以，屬于同一條流的所有報文將選擇同一條路徑進入交換網。顯然，當系統中業務流較為單一時，被Hash算法選中的路徑容易形成阻塞，而其它路徑則較為空閑。類似道理，業務流從第二級交換到第三級時，也容易形成阻塞。這種架構不是嚴格意義上的無阻塞CLOS交換架構，其交換性能與基于CIOQ的Crossbar相當。

基于CIOQ的Crossbar同時滿足了較大容量交換和較好的業務調度的需求，是一種比較完善的交換架構，交換容量可以從幾百G到幾T，通常支持10G接口但無法支持40G和100G接口。由于交換容量不是很大，交換網通常集成在主控板上，采用1+1主備或負荷分擔工作方式。

四、         新一代基于動態路由的CLOS交換架構

CLOS交換架構由貝爾實驗室Charles Clos博士在1953年的《無阻塞交換網絡研究》論文中首次提出，后被廣泛應用于TDM網絡，為紀念這一重大成果，便以他的名字CLOS命名這一架構。近二十年來包交換網絡的高速發展，迫切需要超大容量和具備優異可擴展性的交換架構，CLOS這個古老而新穎的技術再一次煥發出旺盛的生命力。

CLOS交換架構是一個多級架構；在每一級，每個交換單元都和下一級的所有交換單元相連接。一個典型的CLOS交換三級架構由（k，n）兩個參數定義，如圖3所示，參數k是中間級交換單元的數量，n表示的是第一級（第三級）交換單元的數量。第一級和第三級由n個k×k的交換單元組成，中間級由k個n×n的交換單元組成。整個構成了k×n的交換網絡，即該網絡有k×n個輸入和輸出端口。
對于需要更高容量的交換網，中間級也可以是一個3級的CLOS網絡（即CLOS網絡可以遞歸構建），比如4個第一（三）級n×n芯片加上2個n×n的第二級芯片可構成一個2n×2n的交換網。由于CLOS網絡的遞歸特性，它理論上具有可擴展性，支持交換機端口數量、端口速率、系統容量的平滑擴展。

CLOS交換架構可以做到嚴格的無阻塞（Non-blocking）、可重構（Re-arrangeable）、可擴展（Scalable）。

圖3  CLOS交換架構

CLOS架構定義了一種幾何拓撲結構，在早期TDM及語音應用中，其可重構特性通常由軟件計算和配置完成。對于高速包交換系統，大量業務流的目的端口在頻繁而快速地變化（如ns級），通過軟件來對轉發路徑進行選擇和重配置變得不現實。因此，需要采用近些年專門針對用于包交換系統的CLOS架構而設計的動態路由方式。

動態路由關鍵點在于能負荷分擔地均衡利用所有可達路徑。對于第一級，每個業務流可通過Round-robin或隨機方式均勻發送到k條連到第二級的路徑上（通常基于信元的發送）；到達第二級的業務流將基于信元自路由技術（Cell-based Self-routing），根據交換網路由選擇相應路徑交換到第三級目的端口。第三級收到所有來自第二級的信元時，把信元重組成報文，并保證報文順序正確。動態路由方式由此實現了嚴格的無阻塞交換，并有利于減小加速比從而提高有效端口容量。

動態路由方式有一個突出優點，即平滑支持更高速率的網絡端口，比如40GE/100GE。這是因為它可以充分利用所有可用路徑形成一個大的數據流通道，比如24條3.125Gbps通道可以支持100GE數據流。相反，靜態路由方式則受限于單條路徑的帶寬，比如基于XAUI接口的Crossbar交換，網絡端口速率只能達到10Gbps，無法支持40GE和100GE。

基于動態路由的CLOS架構，再結合合適的業務調度機制，就可以支持完善的QoS。采用CLOS交換架構的典型設備有：銳捷N18000統一交換架構核心交換機，Juniper T1600核心路由器。在2009年2月初，Juniper剛剛發布了TX-Matrix Plus，通過多框互聯技術支持把16臺T1600構建成一個25Tbps的無阻塞交換系統，顯示了CLOS架構的可擴展性。2004年，Cisco發布了其路由器旗艦產品CRS-1，采用了三級動態自路由的Benes交換架構，支持72個機架的互聯，達到46T/92T的系統容量。Benes交換實質上是CLOS交換架構的一個特例。

由于CLOS交換系統容量很大，物理實現上，通常采用N+1個獨立的交換網槽位，與主控板控制平面徹底分離，一方面提高了系統容量可擴展性，另一方面極大程度上提高了轉發平面的可靠性，避免了控制平面出現故障或進行倒換時對轉發平面的影響。

五、總結

對于高端機架式交換機和路由器，以基于CIOQ的Crossbar交換架構和CLOS交換架構為主。其中基于動態路由的CLOS交換架構結合信元自路由技術、分布式調度技術是目前面向新一代數據中心和云計算等多業務復雜應用、適用于大容量核心交換機和核心路由器的完善、理想的一種交換架構。