1 導言數據中心在邏輯上包括硬件和軟件。硬件是指數據中心的基礎設施，包括支撐系統和計算機設備等；軟件是指數據中心所安裝的程序和提供的信息服務。一個完整的數據中心在其建筑之中，包括支撐系統、計算機設備和信息服務這三個邏輯部分。支撐系統主要是電力設備、環境調節設備和監控設備，這些系統是保證上層計算機設備正常、安全運轉的必要條件。數據中心的計算機設備包括服務器、存儲設備和網絡設備，這些設備運行著上層的信息服務。信息服務的質量依賴于底層支撐系統和計算機設備的服務器能力。只有綜合考慮各種因素、整體統籌兼顧，才能保證數據中心的良好穩定運行。
服務器作為數據中心信息服務的主要載體，同時與存儲設備和網絡設備相連，是數據中心的核心組件。當前數據中心的服務器按形態可分為塔式服務器、機架式服務器和刀片式服務器這三類。從網絡設計上看，塔式服務器與機架式服務器的部署模式相似，且受數據中心機房空間等因素的限制，機架式服務器和刀片服務器已成為數據中心主要的服務器形態，以下針對后兩種形態的服務器做分析探討。
2 服務器形態差異
2.1 塔式服務器
塔式服務器的外形與個人PC主機相似。與普通PC相比，塔式服務器的主板可擴展性強，接口和插槽比普通PC多，機箱尺寸比普通PC大。塔式服務器成本低，可滿足入門級服務器的需求。但塔式服務器占用的機架空間大，不便于挪動，因此在規模較大的數據中心已很少部署這種形態的服務器。
圖1. 塔式服務器
2.2 機架式服務器
機架式服務器是一種外觀按照統一標準設計、配合機柜使用的服務器，如圖2所示。由于采用統一的機架式結構，服務器可以方便的與同一機柜或位于列頭柜內的以太網交換機連接，簡化了機房的布線和管理。
機架式服務器的尺寸有統一的標準：服務器的寬度為19英寸，高度以U為單位，機架式服務器的高度在1U到7U之間。
相比塔式服務器，機架式服務器的優點是占用機柜空間小，單位空間可放置更多服務器，便于機房內統一管理，且服務器移動方便。機架式服務器對機房的制冷要求較高，對于風冷方式的數據中心，在安裝服務器時，要求冷空氣從服務器機柜前的鏤空地板送入機柜，服務器從前面板將冷空氣吸入，冷氣流經服務器內部轉換成熱空氣后，從服務器后面板流出。熱空氣沿循環通道重新進入制冷裝置。
圖2. 機架式服務器
由于服務器內部空間限制，擴充性受限制，例如1U的服務器通常只有1到2個PCI擴充槽。因此這種服務器多用于服務器數量較多，且機房有比較適宜的制冷裝置的大型數據中心。
2.3 刀片服務器
刀片服務器具有集成化、高密化的特點，其主體結構是一個大型的具有標準機箱尺寸的機箱（又稱為“刀箱”），刀箱內部可插上多塊 “服務器刀片”單元，其中每一塊服務器刀片就是一臺獨立的服務器。每個服務器刀片可以通過本地硬盤運行自己的操作系統，相互之間沒有關聯。多個服務器刀片也可通過集群軟件組成一個服務器集群。在集群模式下，所有服務器刀片通過高速網絡環境互聯，服務于相同的用戶群。除服務器刀片外，刀箱內還可根據需要安裝具有不同功能的“刀片模塊”，如：網絡刀片、存儲刀片、管理刀片等。其中網絡刀片（又稱為刀片交換機）的功能相當于以太網交換機，刀片交換機通常以1GE或10GE端口與刀片服務器連接，并提供10GE端口與上行交換機連接；存儲刀片可以被視為一個硬盤模塊，通過背板總線或者硬盤接口線向服務器刀片提供存儲功能；管理刀片通過服務器刀片上集成的監控管理芯片進行刀片服務器的集中監控和管理。
圖3. 刀片服務器
刀片服務器一般應用在大型數據中心或計算密集的領域，如電信、金融行業和互聯網數據中心等。對企業和互聯網服務提供商來說，隨著業務的發展和對服務器需求的增長，刀片服務器在節約空間、便于管理、可擴展性方面相對與機架式服務器有顯著的優勢。但刀片服務器由于計算密度成倍提高，對單機柜的供電功率以及制冷方式提成更高要求。
3 網絡設計方案差異
3.1 數據中心服務器網絡接入方式概述
圖4. 數據中心服務器區分層網絡模型
如圖4所示，在典型的數據中心服務器區分層網絡模型中，網絡核心層用于連接各服務器區的匯聚層設備，實現服務器區之間報文的高速轉發。匯聚層設備做為服務器的網關，是服務器區的網絡流量匯集點，是部署安全設備和應用優化設備的最佳位置。數據中心接入層為服務器提供高可用的二層網絡接入，并通過VLAN劃分實現接入服務器的隔離。接入層應根據服務器數量規劃接入交換機的端口數，并考慮未來的擴展能力。接入層應按照服務器物理形態進行統一規劃，相同形態的服務器對于網絡接入方式以及機柜布線的要求基本相同，因此將相同形態的服務器集中擺放，并接入到相同的接入層交換機上可提高服務器機柜利用率和機房的管理效率。
無論對于機架式服務器還是刀片式服務器而言，高可用性與高擴展性都是數據中心網絡接入層網絡設計的基本原則。然而，機架式服務器與刀片式服務器在網絡可管理性方面卻有不同的要求。在刀片服務器的刀箱中，通常配有管理模塊（或管理刀片），通過管理模塊提供的WEB界面，可以實現對刀箱中的服務器刀片和刀片交換機的統一管理。這種管理統一性雖然簡化了整個系統的管理，但會導致網絡管理邊界與服務器管理邊界的模糊問題。由于數據中心網絡管理員不具備刀片服務器的管理權限，不能實現對刀片交換機的管理；而服務器管理員因為網絡技術能力的限制，又不能很好的完成服務器二層網絡接入的相關配置工作，由此易引起服務器接入的網絡故障。筆者曾在某銀行數據中心項目的實施過程中遇到過類似問題：在當時條件下，銀行網管人員為保證服務器的二層可擴展性與高可用性，設計中在刀片交換機與數據中心匯聚交換機間使能生成樹協議，但由于服務器管理員在配置刀片交換機時，采用了錯誤了生成樹協議參數，致使網絡中斷，由此影響了整個業務系統的上線時間。因此，在規劃刀片服務器接入網絡時，明確網絡與服務器管理邊界，提高網絡可管理性，也是一個重要的設計原則。*
服務器接入層交換機按照是否采用N:1虛擬化技術（如H3C IRF技術）可分為兩大類方案。從數據中心網絡的高可用性、可擴展性以及易管理性出發，不同的服務器形態（機架式、刀片）有不同的推薦組網方案。以下將就兩大類方案對于機架式服務器和刀片服務器的適用性進行分析探討。
3.2 未采用虛擬技術的服務器接入方案
虛擬化技術的網絡拓撲方案有四種，分別為：倒U形方案、U形方案、矩形方案和三角形方案。為了便于比較各種組網拓撲，這里假設接入交換機（或刀箱內的刀片交換機）采用兩個萬兆以太網接口與上行以太網交換機連接，服務器通過雙網卡分別接入到兩臺接入交換機（或刀片交換機）上。如表1所示為各方案的適用性分析。
3.2.1 二層無環U形組網
圖5. 二層無環U形組網
方案優點：
* 網絡絡接入層不存在二層環路，接入層交換機可以不啟用生成樹協議，因此網絡的配置管理簡單。
方案缺點：
* 從接入交換機到匯聚交換機缺少二層冗余路徑，方案不具備高可用性。；
* 服務器的接入VLAN不能跨匯聚層，服務器不能實現跨交換機的二層互聯，網絡的二層擴展能力有限。
* 服務器網關指向匯聚交換上VRRP的VIP地址，但VRRP心跳報文的傳輸路徑必須經過兩臺接入交換機，當兩臺接入層交換機之間的鏈路發生中斷時，兩臺匯聚交換機都變為VRRP主設備，網絡進入三層不穩定狀態 。
機架式服務器適用性分析：
* 網絡接入不具備高可用性，且二層擴展能力有限，因此不建議在機架式服務器接入時采用這種組網。
刀片服務器適用性分析：
* 網絡接入不具備高可用性，二層擴展能力有限，不建議在刀片服務器接入時采用這種組網。
3.2.2 二層無環倒U形組網
圖6. 二層無環倒U形組網
方案優點：
* 網絡接入層不存在二層環路，接入交換機不啟用生成樹協議，網絡配置管理簡單。
* 服務器的接入VLAN可以跨匯聚交換機，因此能實現VLAN跨不同的接入層交換機，服務器可實現跨接入交換機的二層互聯，服務器接入擴展性好。
* 接入交換機上行匯聚交換機采用捆綁鏈路，因此上行鏈路可靠性高，鏈路的帶寬利用率高；
方案缺點：
* 當匯聚交換機與接入交換機之間的鏈路中斷時，服務器不能感知這種故障，服務器上行流量仍然發送到出現故障的接入交換機，從而形成了“流量黑洞”；
機架式服務器適用性分析：
* 由于存在“流量黑洞”的問題，因此不建議在機架式服務器接入時采用這種組網。
刀片服務器適用性分析：
* 刀片交換機可通過上行捆綁鏈路的狀態監測機制解決“流量黑洞”問題：刀片交換機在正常運行狀態時，周期性的對上行匯聚層交換機的接口進行狀態檢查，當發現上行接口故障時，該刀片交換機將shutdown其上所有端口。此時，接入到該刀片交換機上的服務器將把流量切換到與另一個刀片交換機相連的網卡上，從而避免了“流量黑洞”。
* 這種方案配置管理簡單，如刀片交換機具備防 “流量黑洞”的特性，則適用于刀片交換機的網絡接入。
3.2.3 二層環路矩形組網
圖7. 二層環路矩形組網
方案優點：
* 服務器接入VLAN可以跨匯聚交換機，能實現VLAN跨不同的接入交換機，服務器可實現跨接入交換機的二層互聯，服務器接入擴展性好。
* 接入交換機到匯聚交換機間有冗余鏈路，網絡接入層具備高可用性。
方案缺點：
* 正常情況時，兩臺接入交換機之間的鏈路被生成樹協議阻塞。當某臺接入交換機上行鏈路故障時，交換機之間的鏈路變為轉發狀態。此時，發生故障的交換機一側的所有服務器上行流量，將經過另一側交換機上行到匯聚交換機，該交換機的上行收斂比增加一倍，導致網絡發生擁塞，網絡轉發性能降低。
機架式服務器適用性分析：
* 服務器接入具備高可用性和高可擴展性。當一側接入交換機發生故障時，另一側交換機擁塞加重，網絡轉發性能降低，因此不建議在機架式服務器接入時采用這種組網。
刀片服務器適用性分析：
* 刀片交換機模塊需要配置生成樹協議，不利于刀片系統的管理維護。且同樣存在一側刀片交換機故障時，網絡轉發性能下降的問題，因此不建議在刀片服務器接入時采用這種組網。
3.2.4 二層環路三角形組網
圖8. 二層環路三角形組網
方案優點：
* 服務器接入VLAN可以跨匯聚交換機，能實現VLAN跨不同的接入交換機，服務器可實現跨接入交換機的二層互聯，服務器接入擴展性好。
* 接入交換機到匯聚交換機有冗余鏈路，接入網絡具備高可用性，且通過MSTP可實現上行流量分擔。
方案缺點：
* 網絡配置管理較復雜，為提高二層網絡的高可用性與安全性，在接入交換機與匯聚交換機上使能“BPDU保護”、“環路保護”、“根保護”等特性；
機架式服務器適用性分析：
* 服務器接入網絡具備高可用性、高可擴展性，建議在機架式服務器接入時采用這種組網。
刀片服務器適用性分析：
* 刀片交換機上的配置復雜，可管理性較差，不建議在刀片服務器接入時采用這種組網。
3.2.5 刀片服務器pass-through組網方式分析
刀片服務器內可集成刀片交換機，也可以通過部署pass-through模塊，將服務器的網絡接入延伸到刀箱外的網絡上。如圖10所示，采用了pass-through模塊的刀片服務器在網絡接入層設計上與機架式服務器的關注點相同，重點是保證服務器的高可用接入以及服務器的接入可擴展性，因此建議采用具備接入高可用性和高可擴展性的“二層環路三角形組網”。
圖9. 刀片服務器pass-through組網
3.3 采用虛擬化技術的服務器接入方案
對于接入層而言，傳統架構為保證網絡高可用性通常采用MSTP+VRRP，這種組網需要在接入交換機與匯聚交換機間運行MSTP協議，配置和管理較復雜。當接入交換機和匯聚交換機都采用網絡虛擬化技術時，則可將每兩臺接入交換機和兩臺匯聚交換機分別組合成兩臺虛擬邏輯交換機，在邏輯接入交換機與邏輯匯聚交換機間通過捆綁鏈路連接，如圖10所示。
圖10. 采用虛擬化技術的接入方式
方案優點：
* 高可用性網絡。虛擬化技術通過成員設備的N:1備份、跨設備鏈路聚合實現了服務器接入網絡高可用性設計。
* 高可擴展性網絡。服務器接入VLAN可跨匯聚交換機，且不存在二層環路問題，實現了大二層服務器接入網絡，使數據中心服務器接入層具備很強的擴展能力；
* 網絡配置管理簡單。從邏輯上看，一個堆疊組就是一臺設備，因此接入交換機和匯聚交換機間不存在二層環路，可以避免MSTP的配置管理，簡化網絡設計。
服務器適用性分析：
* 具備服務器接入高可用性、高可擴展性，易管理性，建議在機架式服務器以及刀片式服務器接入時，都采用基于交換機N:1虛擬化技術（如H3C IRF技術）的組網拓撲。
4 服務器機柜布線方式的差異
數據中心機房平面布局通常采用矩形結構，為了保證制冷效果，通常將 10 至 20 個機柜背靠背并排放置成一行，形成一對機柜組（又稱為一個POD），POD中的機柜都采用前后通風模式，冷空氣從機柜前面板的吸入并從后部排出，由此在機柜背靠背擺放的POD中間形成 “熱通道”，相鄰的兩個POD之間形成“冷通道”。熱通道正對CRAC（機房空調），熱空氣沿熱通道流回CRAC，再開始新一次循環。
圖11. 數據中心機房平面布局
如圖11所示，每個POD由服務器機柜和網絡機柜組成，其中服務器機柜占多數。由于服務器的形態差異（機架式服務器、刀片服務器），POD中服務器機柜和網絡機柜的布線方式也不存在差異。
4.1 機架式服務器的布線方式
4.1.1 交換機EOR（End of Row）布線方式
采用交換機EOR布線方式時，每個POD中的兩排機柜的最邊端擺放2個網絡機柜，POD中所有的服務器機柜安裝配線架，配線架上的銅纜延伸到POD最邊端網絡機柜，網絡機柜中安裝接入交換機。機架式服務器安裝在服務器機柜中，服務器網卡通過跳線（銅纜）連接機柜中的配線架，如圖12所示。
圖12. 機架式服務器EOR布線方式
交換機EOR布線方式特點：
* 交換機EOR布線方式最為常見。通常在服務器和接入交換機安裝以前，服務器機柜到網絡機柜的布線施工已經完成，設備（服務器/交換機）安裝和跳線工作都在服務器機柜內和網絡機柜內進行。
* 如果每臺機架式服務器的功率為500W，且每個服務器機柜的電源輸出功率按4KW或6KW計算，則一個42U高度的服務器機柜能安裝8-12臺機架式服務器。
* EOR布線方式的缺點：從服務器機柜到網絡機柜的銅纜多（約有20-40根銅纜），且距網絡機柜越遠的服務器機柜的銅纜，在機房中的布線距離越長，由此導致線纜管理維護工作量大、靈活性差。
* 交換機MOR（Middle of Row）布線是對EOR布線方式的改進。MOR方式的網絡機柜部署在POD的兩排機柜的中部，由此可以減少從服務器機柜到網絡機柜的線纜距離，簡化線纜管理維護工作。
4.1.2 交換機TOR（Top of Rack）布線方式
交換機TOR布線方式是對EOR/MOR方式的擴展，采用TOR布線時，POD中每個服務器機柜的上端部署1-2臺兩臺接入交換機，機架式服務器通過跳線接入到機柜內的交換機上，交換機上行端口通過銅纜或光線接入到EOR/MOR的網絡機柜中的匯聚交換上。如圖13所示
圖13. 機架式服務器TOR布線方式
TOR布線方式特點：
* TOR布線方式簡化了服務器機柜與網絡機柜間的布線，從每個服務器機柜到EOR/MOR的網絡機柜的光纖或銅纜數量較少（4-6根）。
* 機柜中服務器的密度高。對于標準的19英寸寬，42U高的機柜，如果采用交換機TOR布線方式，則每個機柜可部署15-30臺1U高度的機架式服務器（具體數量需要考慮單臺服務器的功耗和機柜的電源輸出功率）。
* TOR布線的缺點：每個服務器機柜受電源輸出功率限制，可部署的服務器數量有限，由此導致機柜內交換機的接入端口利用率不足。在幾個服務器機柜間共用1-2臺接入交換機，可解決交換機端口利用率不足的問題，但這種方式增加了線纜管理工作量。
* 從網絡設計考慮，TOR布線方式的每臺接入交換機上的VLAN量不會很多，在網絡規劃的時候也要盡量避免使一個VLAN通過匯聚交換機跨多臺接入交換機，因此采用TOR布線方式的網絡拓撲中，每個VLAN的范圍不會太大，包含的端口數量不會太多。但對于EOR布線方式來說，接入交換機的端口密度高，在網路最初設計時，就可能存在包含較多端口數的VLAN。
* TOR方式的接入交換機數量多，EOR方式的接入交換機數量少，所以TOR方式的網絡設備管理維護工作量大。
4.2 刀片服務器的布線方式
集成刀片交換機的刀片服務器在進行機柜安裝時，不需要考慮機柜內從服務器到接入交換機/或配線架的跳線，只需考慮刀片交換機上行端口的配線方式即可。而機架式服務器則需要分別對每臺服務器進行跳線連接。例如，一個42U的服務器機柜安裝10臺1RU機架式服務器，1臺接入交換機，并采用TOR布線方式時，在機柜后面將看到22根電源線（服務器和交換機都配置冗余電源）、10根KVM線、至少30根雙絞線（每臺服務器兩個業務網卡和一個管理網卡），2根光纖（交換機上行端口），這還不包括連接外部存儲和其他設備的線纜，顯的非常凌亂。而對于一臺配置了10個服務器模塊和2個交換機模塊的刀片服務器來說，則只需2根電源線，1根KVM線，4根光纖。因此刀片服務器在機房布線管理上比機架式服務器具有明顯的優勢。
集成交換機模塊的刀片服務器主要采用EOR/MOR布線方式，但這種EOR布線方式與機架式服務器TOR布線方式的特點基本相同，如圖14所示。服務器在服務器機柜內完成網絡接入，從服務器機柜到EOR/MOR網絡機柜的電纜主要是刀片交換機上行匯聚交換機的光線，而且數量比較少。但刀片服務器的計算單元的密度比機架式服務器更高，所以對單個機柜的電源輸出功率以及機房制冷環境的要求也更高。
圖14. 集成刀片交換機的布線方式
采用pass-through模塊的刀片服務器的機柜布線方式可分為EOR/MOR和TOR兩種，如圖15所示，兩種方式的特點與機架式服務器的相應方式相同，此處不再贅述。
圖15. 刀片服務器pass-through的布線方式
5 結束語機架式服務器與刀片式服務器都是數據中心最常部署的服務器形態。
按照數據中心網絡設計的高可用性、可擴展性和易管理性要求，如果接入/匯聚交換機未采用虛擬化技術，則機架式服務器建議采用“二層環路三角形組網”，刀片交換機建議采用“二層無環倒U形組網”；如果接入/匯聚交換機采用了虛擬化技術，則無論對于機架式服務器還是刀片式服務器，全虛擬化組網都是最優的部署方案。
機架式服務器與刀片服務器在機柜布線方式上存在較大的差異，由于刀片服務器內集成了網絡刀片、管理刀片等，從而簡化了服務器機柜內的布線方式，因此刀片服務器在機柜布線管理上比機架式服務器具有明顯的優勢。但也應該看到，由于刀片服務器的單位計算密度比機架式服務器成倍提高，所以刀片服務器對單個服務器機柜的電源輸出功率以及機房制冷環境也提出更高的要求。
總之，機架式服務器與刀片式服務器各有特點，數據中心用戶需要根據自己的網絡部署要求和機房環境要求等因素進行分析選擇。 |
