京東自建資料中心核心技術解密:基礎設施
可以提供20萬臺的伺服器安裝和運營能力，儲存能力不小於32EB，計算能力不小於128千萬億次每秒。
作為京東的標杆專案之一，京東CTO張晨曾多次在業界大會上講到：“宿遷自建資料中心的綠色環保技術，貫穿整個生命週期。從最初的概念設計到施工建造，一直到投產後的運營管理，保證資料中心年均PUE≤1.3（實測），在華東地區達到領先水平。”
接下來我們將為大家揭祕京東自建資料中心的核心技術，通過《基礎設施篇》和《資料中心運營篇》，揭開它創新技術的神祕面紗。
製冷系統的技術創新
隨著資料中心需求和規模的不斷擴大，建設成本和執行成本不可避免的會成為企業的考量指標。資料中心不僅耗電量巨大，耗冷量也不可小覷。
據統計，資料中心空調系統的能耗一般佔總能耗的20%-40%左右，其中製冷壓縮機的能耗又佔到空調系統總能耗的70%-90%。
降低空調製冷系統的能耗，將會是提高資料中心能源利用率最直接和有效的措施。因此，利用自然冷源來解決資料中心的散熱問題，成為京東自建資料中心創新技術的核心考量之一。
Freecooling自然冷卻系統
為了充分利用冬季室外天然冷源進行自然冷卻，冷凍水系統設定了水-水不鏽鋼板式換熱器，與冷水機組並聯。
系統中設計冷凍水供水溫度為10℃，實際執行中可以提高水溫，來提高系統執行整體效率並延長自然冷卻時間。
實際執行中，冷凍水系統在室外日平均溫度持續5天以上低於10度時，切換到自然冷卻系統使用，日平均溫度持續5天以上高於10度時，開始退出。全年基本可以分為免費製冷季和常規制冷季。
京東IDC建設部技術專家黃軼彪談到：“我們在傳統的Freecooling技術基礎上，增加了一套自主設計的氣候環境採集控制系統，我們叫“平滑的連續調整”的Freecooling技術。
利用這套技術，完全實現了製冷系統根據室內外環境溫度、溼度、系統負荷大小、平滑連續的調節各元件執行狀態，始終保持系統在最佳的效率區間。
而且全年可以“免費”使用自然冷源的時間高達180天以上，直接節約電費數百萬元以上。”
製冷系統
冷凍水系統的設計供回水溫度為10~16℃，主要裝置採用N+1冗餘配備，保證系統不會由於某一裝置故障而受到影響。整個水系統管路採用環狀管路，裝置之間設定雙閥門，保障系統可用性。
並配備有線上式蓄冷罐，可以無間斷的為系統提供15mins備用冷源。空調製冷系統的整體設計滿足並高於Uptime Tier Ⅲ級別的要求。
空調製冷系統由冷源系統、管路系統、末端空調系統和輔助系統等構成，資料中心專門設定有製冷機房。
空調末端系統
每個機房模組配有獨立的直膨式新風機組，室外新風經初效和中效過濾，並經冷卻處理後送入房間，保證機房正壓需求。
主機房、變配電室、電池室、UPS配電室等均採用水冷式精密空調，採用N+1配置方式。
精密空調全部採用“UPS+市電”雙路供電，UPS電源為主用，為避免大量空調同時啟動對電網造成衝擊，空調採取了延時策略。
京東IDC建設團隊對所選用的精密空調，採用了具備節能設計的產品，包括：
- 空調EC風機葉輪採用航空級新型工程複合材料，質量更輕，強度更高，也更加節能；
- 通過控制器根據實際冷負荷按比例設定送風量，滿足外部變化的冷負荷，降低風機消耗功率，進一步實現節能；
- 優化氣流通道，擴大回風過濾器面積，減小內部壓強，降低風機的功耗；
- 機組超大面積換熱器，將風機模組安裝在架空地板下，更好的利用機組的內部空間；
精密空調內建電極式加溼器，具有水處理系統，自動檢測加溼罐中的雜質含量並清除，減少了氧化結垢現象。
高可靠性的技術保障
京東在宿遷的自建資料中心，核心目標之一是全力保證負荷用電的高可靠性。
伺服器電源是整個資料中心供配電系統建設的重點，瞭解伺服器電源的相關特性對於資料中心的供配電系統建設具有重要的意義。
充分了解伺服器電源的容量、冗餘方式、製冷要求和能效設計等主要指標對於資料中心供配電系統的設計是十分必要的。
伺服器冗餘電源系統最終都可以歸結到雙電源系統上，如果雙電源伺服器的每一路電源都能通過獨立的供電路由從獨立的電源取電，就能夠獲得最高的可靠性。
市電專線的供電系統保障
京東資料中心自建變電站
機房內所有電子資訊裝置都採用UPS供電，其中兩個生產機房和兩個網路機房電子的供電模式為2N，其餘六個生產機房的供電模式則為N+1。
輔助裝置電源採用“UPS+市電”的供電模式，單臺UPS後備蓄電池支撐時間不小於15分鐘。當一路市電電源故障時，故障迴路負荷自動切換給另一回路承擔。
即使當兩路市電電源都發生故障，機房模組內負荷由UPS蓄電池供電，同時備用柴油發電機組啟動，向機房模組、空調冷源、照明等負荷供電。
後備柴油發電系統
京東在宿遷的自建資料中心，發電系統全部採用進口一線品牌的柴油發電機組裝置，具有良好的啟動效能。配有發動機缸套水加熱裝置，可以保證在低溫時，系統的快速啟動和帶載能力。
機組可以承受負載突加75%的突發狀況，保證發電機組快速啟動後可以快速載入。對並機主控系統的冗餘設計， 有效提高了並機系統的可靠性。發電機配置有防潮加熱器，防止因空氣溼度過高降低發電機絕緣效能而造成安全風險。
供儲油系統在每個資料中心模組中獨立設定，物理隔離。每個模組配置兩個25立方埋地柴油儲罐，每個柴油罐配置一用一備2臺供油泵，兩罐之間配置一臺倒油泵。儲罐區至機房日用油箱間輸油管路為雙環路設計，具備線上檢修及容錯能力。
非晶合金變壓器
智慧照明系統
京東在宿遷的自建資料中心，所有主機房都採用了分散式照明智慧控制系統。人員進入機房時，系統會根據感應開啟該部位的燈具，人員離開時燈具則按設定的延時時間自動關閉。無人員進入機房時燈具能滿足運維監控的最低亮度，達到節能與自動控制的目的。
實驗性技術創新—6sigma模擬模擬
京東IDC建設建設部負責人，首席技術專家張敬特別談到了在京東宿遷自建資料中心二期的建設中，IDC建設團隊引入的更多更前沿的實驗性專案，包括：“通過6sigma做CFD氣流模擬計算，瞭解IDC模組內的氣流組織，溫度分佈情況，根據伺服器的不同負荷狀態，推算溫度升高變化。”
“通過建立數學模型推算和6sigma CFD系統的驗證，在確保伺服器同等負荷狀態，以及滿負荷狀態，伺服器的實際需求功耗不增加的前提下，逐步提高伺服器的執行溫度，也就是資料中心模組內的環境溫度。”張敬還談到：“於此同時，我們根據數學推算和CFD模擬驗證的結果，將會在二期的實驗模組裡引入一些更節能的冷卻技術。”
京東IT資源服務部負責人呂科認為：“資料中心行業是一個技術含量非常高的服務行業，它為企業大量的電子資訊裝置提供安全的場所、持續的電力、適宜的環境、穩定的網路以及專業的運維服務。”
“這些表面看似簡單的條件，背後卻需要一個龐大複雜的綜合系統來支撐。京東在人工智慧，無人機，雲端計算等前沿科技領域，不斷推出提升億萬使用者購物體驗的場景應用，正是基於我們持續技術創新的資料中心服務。”
“資料中心在安全性和可靠性方面的不斷提高，一直會為這些創新技術的落地推廣、上線應用、穩定執行保駕護航。”