數據中心網絡負載均衡背景

當前數據中心承載了當前互聯網中的大部分數據流量和應用功能。理想情況下，數據中心會為不同用戶的不同應用流量提供差異化的、高吞吐量低時延的服務。其中，數據中心網絡傳輸性能的好壞直接決定了數據中心的服務能力。因此，對數據中心流量進行管理，能夠提高網絡鏈路的整體利用率，減少擁塞情況，避免重傳發生。如何設計合理、高效的網絡負載均衡方案，成為了建設新型數據中心的關鍵。 

網絡負載均衡面臨的挑戰

由于當前數據中心的復雜性,使得設計滿足要求的數據中心網絡負載均衡方案具有一定的挑戰。

1.流量動態性： 數據中心網絡的流量是動態變化的，其中少量的大流占據了網絡中大部分負載，而大量的小流會造成網絡狀態的劇烈變化, 使得流量調度呈現滯后性；這就使得數據中心網絡負載均衡設計問題變得更加復雜。

2.擁塞感知難： 由于數據中心網絡流量特有的高動態性, 使得對網絡擁塞的感知具有時間滯后性, 即當前感知到的擁塞信息為過去時的狀態。因此，感知網絡擁塞情況的準確性和及時性直接決定了負載均衡的性能。

3.數據包亂序：傳統數據中心網絡的負載均衡技術通常采用基于Flow的調度，HASH計算后選擇唯一路徑通信，在同一鏈路上發生沖突的兩個數據流的傳輸時間會加倍。而采用Packet粒度進行調度時，由于傳輸層協議的確認機制, 這類將Flow分割成Packet的技術，將會造成數據包的亂序問題。

4.異常流量調度：當網絡設備或鏈路出現故障時，網絡中的上下行鏈路會出現不對稱等情況，產生網絡的擁塞后，嚴重降低了數據的傳輸效率。負載均衡方案需及時對故障情況進行響應，對網絡中被影響的流量進行重新調度，以優化網絡的傳輸。

數據中心網絡多鏈路負載均衡的問題

數據中心的網絡拓撲通常采用CLOS結構，主機之間常存在多條路徑。為滿足吞吐量敏感型流量的需求，將數據流分布到不同路徑上進行數據傳輸。為避免擁塞，提高數據中心內的資源利用率，數據中心網絡負載均衡方案通常會選擇ECMP(Equal-costmulti-path)技術。 

ECMP（Equal-costmulti-path）意為等價多路徑路由，即存在多條到達同一個目的地址的相等開銷的路徑。當設備支持等價路由時，發往該目的IP或者目的網段的三層轉發流量就可以通過不同的路徑分擔，實現網絡鏈路的負載均衡。在鏈路出現故障時，實現快速切換ECMP的路徑選擇策略有多種方法：

1. HASH，基于IP五元組進行HASH計算，為流選擇指定路徑

2. 輪詢，各個流在多條路徑之間輪詢傳輸

3. 基于路徑權重，根據路徑的權重分配流，權重大的路徑分配的流數量更多

ECMP是一種較為簡單的負載均衡策略，其在實際使用中也面臨許多問題：

1. HASH極化問題

HASH極化問題常見多級負載均衡場景，即多臺設備間互聯均存在負載均衡，此時若多臺設備間使用相同的負載均衡模式或HASH算法則可能出現HASH極化現象。

2. HASH一致性問題

彈性HASH功能開啟可確保在單條鏈路故障時，交換機會將ECMP組內數據流重新HASH計算，再進行負載均衡到剩余有效鏈路上，其實現可確保原來HASH的流量的一致性。 但是彈性HASH只能確保1個端口或鏈路故障情況下的hash均衡，而2個及以上端口或鏈路故障情況下，無法實現HASH的負載均衡。

3. 靜態HASH不均衡問題

靜態HASH通過算法生成HASH-KEY值，然后根據HASH-KEY值在鏈路中選取一條成員鏈路對數據包進行轉發。靜態HASH的缺點是沒有考慮負載均衡鏈路中各成員鏈路的利用率，從而會出現成員鏈路之間的負載不均衡，尤其當大流出現時，會加劇所選中成員鏈路的擁塞，隨著交換機緩存的加深，會觸發PFC和ECN，導致源端降速。

傳統以太網構建的數據中心網絡通過ECMP HASH實現負載均衡，網絡流量特征是大量小流的情況下可以得到比較理想地網絡負載均衡效果，但是AI訓練的流量特征是同時存在一定數量的大流，這在哈希不均時會出現長尾時延，從而影響訓練效率，這也是通過以太網支持大規模機器學習訓練的一個挑戰。

銳捷RALB負載均衡技術

為了解決上述問題，銳捷在多路徑流量調度技術上進行了創新，RALB(Remote Adaptive Load Balancing)技術通過感知鏈路質量，進行逐包的全局動態負載均衡，讓網絡帶寬利用率可達97.6%。

1、逐包動態負載均衡

感知本地鏈路質量，通過逐包的動態負載均衡策略，實現網絡無阻塞，接近滿吞吐。

 靜態HASH采用的是逐流負載均衡的方式，HASH計算后選擇ECMP組的其中一條鏈路轉發，而動態負載均衡采用的是逐包轉發的方式，將Flow分割成顆粒度更小的Packet，根據鏈路的負載情況，在ECMP組全鏈路中進行逐包轉發。因此，在AI訓練場景采用RALB技術，將Read和Write的數據報文分割成更小的Packet，進行逐包動態負載均衡，而對于其他類型報文，仍采用靜態逐流HASH方式，從而獲得更高的帶寬利用率。

2、全局負載均衡

通過感知遠端鏈路質量變化，在Leaf層進行精準流量調度，達到全局負載均衡的效果。 

當數據中心網絡中發生光模塊故障、交換機端口故障或光纖鏈路斷開等鏈路故障的情況時，會形成交換機上下行鏈路不對稱的情況，從而導致交換機出口(Egress port)擁塞。交換機在隊列擁塞情況下，對擁塞的數據包做ECN標記并傳遞給接收端；接收端收到帶有ECN標記的數據包后，生成CNP擁塞通告返回給發送端；發送端收到 CNP 報文，對相關優先級的隊列進行降速處理。如圖中所示Spine1到Leaf2的其中一條鏈路斷開，Spine1到Leaf2之間只有1條100G鏈路，Leaf1經過Spine1到Leaf2的流量，會在Leaf1上觸發出口擁塞，Leaf1入口要降速到100G才能避免擁塞；而發送端降速，會讓所有發出的流量一起降速，同時由于逐包負載均衡讓Leaf1的上行流量同時降速。假設Leaf1經過Spine1和Spine2到Leaf2的流量是足夠均衡的，那么Leaf1經過Spine2到Leaf2的流量也會被降速到100G；因此表現為整體帶寬只有200G；

在網絡鏈路故障時，采用RALB技術，Spine交換機立刻感知到鏈路的變化，并快速通知TOR交換機，讓Leaf1感知到遠端鏈路的變化，對去往Leaf2的流量進行遠端自適應負載均衡，將更多的流量調度到下一跳為Leaf2的鏈路上，實現流量全局的負載均衡。采用RALB技術后，對目的為Leaf2且經過Spine1的2條鏈路流量進行精準降速，而不影響其他去往Leaf2的鏈路流量。如圖中所示應用RALB技術之后，Leaf1只會往Spine1轉發1/3到Leaf2的流量，往Spine2轉發另外2/3到Leaf2的流量，最終可以充分利用上Leaf1到Leaf2最大的300G帶寬，相比應用之前的200G提升50%（效果隨著Spine交換機數量增加而提升，3臺Spine交換機時，從3/6提升到5/6；4臺Spine交換機時，從4/8提升到7/8，以此類推）；同時，應用RALB技術之后在Leaf1上就能提前觸發流控，起到降低時延的效果。

銳捷網絡RALB負載均衡技術打破了傳統技術的局限，根據當前的鏈路的負載情況，做全局的流量均衡，并結合逐包動態轉發，實現網絡無阻塞和超高帶寬利用率的效果，顯著提高了數據傳輸的效率和穩定性，為數據中心的高效運行提供了有力支撐。

在全球互聯網流量不斷增長和數據應用需求日益多樣化的背景下，銳捷網絡致力于推動網絡技術的進步和發展，全局負載均衡解決方案的推出正是其不斷探索和創新的有力證明。通過持續的技術研發和產品創新，銳捷網絡將繼續為全球的數據中心提供更加高效、可靠、智能的網絡解決方案，在AIGC時代，助力互聯網企業及各行各業的快速發展。