在過去一年中，Facebook給傳統網絡行業帶來了有趣的創新。雖然大部分企業會對其網絡操作詳情保密，而Facebook則與大家分享了其創新。筆者認為，對于這個業務模式構建在人們共享的個人信息之上的企業而言，這非常合情合理。

并且，Facebook的開放性也給他們帶來回報。基礎設施副總裁Jason Taylor估計，在過去三年中，通過向開放計算項目(OCP)成員共享其設計規格，Facebook節省了大約20億美元。

但真正引人注目的是去年Facebook推出的Wedge，這是與OCP社區合作開發的開放架頂式交換機。在8個月后，Facebook推出了6-Pack模塊化版本的Wedge，用于網絡核心。除這些裸機交換機外，該公司還推出了FBOSS(基于Linux的開發網絡操作系統)和OpenBNC(系統管理)。

這種開放性對于其他企業的意義在于，所有這一切并不只是Facebook的瘋狂科學項目。你很快可以通過臺灣交換機制造商Accton購買Wedge，只需要花費專有交換機成本的小部分就可以將這些交換機引入到你的數據中心。并且，你不會被鎖定為要在該交換機運行FBOSS。你可以貨比三家，選擇你最喜歡的網絡操作系統，例如Open Network Linux、Cumulus Linux、Big Switch Switch Light、Pica8的PicOS或甚至瞻博網絡的JUNOS。如果你有自己的開發團隊，你也可以自己開發操作系統。

本文中我們將討論Facebook分享的數據中心網絡設計創新以及這對其他企業的價值。去年11月，在Wedge和6-Pack發布時間之間，Facebook啟動了其最新的Altoona數據中心。對此，Facebook同樣公開分享了其新設計。

事實證明，Altoona設計中有一些有價值的創新，可以借鑒到其他任何規模的數據中心。

對超大規模的誤解

當提到“超大規模數據中心”時，很多人都會本能地想到Facebook、谷歌和Amazon。而由于這種關聯，讓人覺得只有大型供應商才能實現超大規模數據中心。

事實是，超大規模只是意味著進行非常快速擴展的能力。超大規模數據中心網絡可能很小，但它可以迅速成倍擴展，而不需要改變網絡的基本組件和結構。在這個擴展中，你可以使用相同的交換機和相同的互連模式，而不需要替換交換機來適應增長。

你的數據中心可以只有少量機架，如果網絡設計正確的話，它就可以是超大規模數據中心。超大規模是一種能力，而不是規模。

對于超大規模數據中心的另一個誤解是，它們是用于相對較少的大規模應用程序。這也是源自Facebook和谷歌的關聯。超大規模設計其實非常適合重型東西工作負載，但超大規模設計原則也可以應用到一般企業數據中心，支持數百個業務應用程序，正如它可以支持單個社交媒體、大數據或搜索應用程序。

超大規模也讓人想起由才華橫溢的年輕設計師從芯片開始構建的DIY網絡，這些設計師的薪水遠遠超過一般網絡運營商的水平。對于創新者來說，這可能是真的，但由于Facebook已經奠定了基礎，現在一般人也可以將其設計原則應用到自己的數據中心。

為了了解Altoona網絡的價值，讓我們先來看看Facebook在其早期數據中心使用的網絡架構。

好是不夠的：Facebook的集群設計

圖1展示了Facebook在Altoona之前的聚合集群設計，他們稱之為“4-post”架構。多達255臺服務器機柜通過ToR交換機(RSW)連接到高密度集群交換機(CSW)。RSW有多達44個10G下行鏈路和4或8個上行鏈路。4個CSW及其連接的RSW組成一個集群。

4個“FatCat(FC)”聚合交換機互聯集群。每個CSW有一個40G連接到每個FC。一個80G保護環連接每個集群內的CSW，而FC連接到160G保護環。

這是一個很好的設計，包括幾個方面：冗余性很好;超額配置很好(RSW和CSW之間通常為10:1，CSW和FC之間為4:1);這個拓撲結構相當平，沒有路由器互聯集群;并且增長的管理簡單，通過添加新集群，至少可達到40G端口容量。

但Facebook發現這還不夠好。

這種架構的主要問題在于CSW和FC需要非常大的交換機：

· 只有4個交換機處理所有集群內流量，4個交換機處理所有集群間流量，交換機故障會帶來嚴重影響。一個CSW故障會減少25%的集群內容量，而一個FC故障會減少25%集群間容量。

· 非常大的交換機限制了供應商選擇—只有少數“大腕級”制造商。由于這些供應商只出售相對較少的大型交換機，與大量供應商提供的較小型交換機相比，每端口CapEX和OpEx非常高。

· 這些大型交換機的專有內部屬性不允許定制化、管理復雜，并且修復漏洞需要等待數月甚至數年。

· 大型交換機往往有超額交換結構，因此不能同時使用所有端口。

· 這種集群交換機的端口密度限制了這些拓撲結構的規模和貸款，讓過渡到下一代端口的速度很慢。

· Facebook的分布式應用程序創造了機器到機器流量，這難以在聚合網絡設計內管理。

Altoona：超大規模數據中心

Altoona的下一代架構必須從根本上解決集群架構的問題，同時保持其最佳功能。具體做法是：

· 使用大量小型交換機，而不是少數大型交換機。這樣的話，每個交換機僅負責較小比率的負載，交換機故障只會對整體容量帶來較小的影響。

· 端口密度分布在多臺交換機，而不是在一臺交換機，讓過渡到更高密度端口和減少內部超額配置變得更簡單。

· 內部交換機架構應該是開放、無阻塞的，并建有商用芯片，鼓勵定制化、簡化管理和故障排除，并縮短漏洞修復等待時間。

· 尋找比集群更小的模塊化單元，可以復制用于廣泛的用途，并可經濟地部署到各種規模的數據中心。

· 降低資本和運營支出。

· 快速、簡單和便宜地適應任何速度的增長

對此，Facebook提出的是分層核心和pod設計，他們創建了跨越整個數據中心的單個高性能架構。基本構建塊(或者說標準“網絡單元”)pod包含48個ToR交換機，通過40G上線鏈路連接到4個光纖交換機。請看圖2中這個拓撲結構，你可以發現折疊的3級Clos結構，或者說分支和主干拓撲結構。這些pod每個只包含48個服務器機架，而不是集群設計中數百臺服務器機架。因此，在端口密度方面，ToR和光纖交換機可以保持相對較小。假設每個ToR交換機有48個10G下行鏈路，pod有3:1的超額配置—這是對10：1集群超額配置的顯著改進。

每個pod通過40G上行鏈路連接到4個主干平面，正如圖3所示。每個主干平面可以有多達48個交換機。這種拓撲結構的關鍵是，每個光纖交換機有相同數量的40G下行鏈路和上行鏈路，這樣該結構就無阻塞，在pod之間沒有超額配置。在整個數據中心，二等分帶寬(運行多PB)是一致的。

圖3顯示的是光纖架構及其對應的主干平面之間的彩色連接。真正讓你震驚的應該是，光纖交換機和主干交換機之間有大量鏈接。光纖和電纜很昂貴，所以管理pod和主干平面之間的距離很重要。

如果你旋轉pod并進行排列，每個pod的48個機架將排列在數據中心，然而對主干平面進行同樣的排列，你會得到圖4中的立體圖，光纖交換機成為主干平面的一部分。光纖交換機和主干平面之間的距離被縮短。請注意，還有邊緣pod，這提供到架構的外部連接。

Facebook網絡工程師Alexey Andreyev這樣描述這個結構：“這種高度模塊化設計使我們可以在任何層面快速擴展容量，在簡單而統一的框架內。當我們需要更多計算容量時，我們添加服務器pod。當我們需要更多架構內網絡容量時，我們在所有平面添加主干交換機。當我們需要更多架構外連接時，我們增加邊緣pod或擴展現有邊緣交換機的上行鏈路。”

Altoona數據中心經驗

你現在可能想知道這與你和你的數據中心有什么關系。畢竟，Facebook正在支持著一個龐大的分布式應用程序，產生的機器到機器流量跨越其整個數據中心，而你可能沒有這種需求。并且，雖然48機架pod比其早期集群更小，但大多數企業數據中心都少于48服務器機架。

那與你有什么關系呢?因為這不是關于規模，而是可擴展性。

Altoona設計可借鑒之處在于，你可以使用小型開放交換機構建你的數據中心，這個架構可以讓你擴展到任何規模，而不需要改變基本構建塊。首先看看交換機：你不需要等到Wedge或6-Pack上市(Accton很快將銷售Wedge)，你可以選擇來自Accton、Quanta、Celestica、戴爾等供應商的裸機交換機。例如，具有32個40G端口的Quanta交換機售價為7495美元。24個40G端口的瞻博網絡QFX5100售價不到3萬美元。這個價格相差很大，JUNOS可以為你提供相當好的操作系統，而裸機交換機讓你可以加載你選擇的操作系統。

對于pod和核心設計，這可以根據你自己的需要來進行調整。Pod可以是你想要的任何規模;而“網絡單元”是很好的概念，而不是規則。你可以創建一些pod設計來滿足特定的工作流程需要，或者只是開始從較舊的架構遷移。Pod還可以針對應用程序。隨著你的數據中心網絡的增長，或者你采用更新的技術，你可以無中斷地插入新的pod。

這同樣適用于核心部分。你可以在2層網絡或3層網絡構建核心，這完全取決于你支持的工作流程。這種簡單的pod和核心設計，讓你可以以任何速度來擴展你的數據中心網絡。