月初召開的中共中央政治局常委會會議指出，要加大公共衛生服務、應急物資保障領域投入，加快5G網絡、數據中心等新型基礎設施建設進度。這個倡議證明了兩年來“數字中國萬里行”將以數據中心為代表的中國數字化基礎設施建設與早已取得輝煌成就的高鐵等“傳統”基礎設施建設相提並論的前瞻性，本文也不妨再趕“熱點”，結合去年夏天考察某數據中心的實錄，在文末抒發一點關於“新基建”的淺見……
2019年7月底，我和中數智慧信息技術研究院副院長羅志剛受中國移動集團邀請，代表中國數據中心專家工作組（CDCC）加入中國移動集團數據中心星級評定聯合專家組，先後奔赴黑龍江和內蒙古，考察中國移動哈爾濱和呼和浩特數據中心並參與星級評定工作。
評定辦公現場
中國移動在全國範圍內佈局4+45雲計算數據中心發展架構，設4個集中化超大型數據基地，自北向南依次是：中國移動（哈爾濱）數據中心、中國移動（呼和浩特）數據中心、中國移動國際信息港、中國移動南方基地；另有45個省級數據中心。這4個集中化超大型數據基地，位於北京北六環的中國移動國際信息港2015年我就去過，此次星級評定工作中參觀了更北方的兩個，三週之後又在2019數字中國萬里行西南-華南線即將收尾的時候參觀了歷史最久的南方基地，也算是個小滿貫吧。
規模規劃姊妹篇
哈爾濱與呼和浩特兩大數據中心是同期規劃、開工建設的“姊妹”園區，規模相近，總體規劃和技術路線也基本一致。譬如，都是基礎設施總投資約120億元，園區總規劃方案由德國GMP公司中標，建設18棟倉儲式數據機房，總規劃機架數5.4萬個（呼和浩特後有調整）；一期工程3棟機房均於2016年投產，現在也都在建設二期工程。
中國移動（哈爾濱）數據中心園區全景，近處分別是一期工程的3座機房樓，和二期工程剛開工建設的2座機房樓（工地）。地塊遠端是同屬一期工程的運營支撐中心、員工餐廳和宿舍。左側地塊分佈有電信、聯通等公司的數據中心，但規模相對較小
但是數據中心是個必須因地制宜的行業，起碼這麼大的項目，很難保證在不同的城市獲得面積和形狀都相當的地塊。具體來說，哈爾濱園區地塊形狀狹長，已投入使用的運營支撐中心、員工餐廳和宿舍，與3棟機房樓分別位於兩端，最遠處相距約1.7公里，我的無人機飛越整個園區需要接近兩分鐘的時間。
作為中國移動通信集團公司投資建設的全國性數據中心、中國移動集團7大核心節點之一，位於北緯45°的中國移動（哈爾濱）數據中心，是中國移動全國大型數據中心佈局中毫無疑問的最北端。
至少在我航拍當天，“雲谷”之名實不虛傳，無人機稍一高飛就凌雲之上啦
“立足龍江，面向全國”。數據中心園區位於黑龍江省哈爾濱市哈南開發區的“中國雲谷”，在“中國雲谷”聚集的多家數據中心裡所佔地塊最大——項目佔地面積86萬平方米，相當於120個“標準”足球場。
項目總投資約120億元，建築面積59.6萬平方米，規劃最終建設18棟機房樓和11棟生產輔助用房，總規劃機架數5.4萬個。同時還可以為用戶提供辦公、會議、培訓、餐飲和住宿服務，實現了一體化、綜合性運營服務。出口帶寬3.2T，可根據業務增長隨時進行擴容。
2016年初投產的一期工程總建築面積為12.42萬平方米，共有3棟數據中心機房樓（含3棟製冷站）、1棟變電站，2棟寫字樓、1棟餐飲中心、1棟公寓，可承載9000個機架。每棟數據中心機房樓設有32個機房模塊，每個模塊90～110個機櫃，每機櫃功率3～10kW。
電力：供應充足，交直兼顧
以中國移動（哈爾濱）數據中心的狹長園區為中軸線，在靠近3座機房樓的一端，兩側分別有一個火電廠和兩個變電站。不過，火電廠和園區沒有什麼關係，據說發電能力也滿足不了園區的需求。
一期工程的3座機房樓和二期在建的2座機房樓，可以看到遠處有個規模不算大的火電廠
園區外的兩個變電站是國家電網直送的兩路220KV真·雙路供電，引入園區內的66KV變電站，再以10.5KV送入機房樓。從園區綜合平面圖來看，這樣的變電站應該還會有3個。園區總設計電源容量45萬kVA，目前已提供6.3萬kVA。
幾座紅頂建築都是變電站，近景為園區內的66KV變電站，中景和遠景分別是兩個220KV變電站
機房樓採用高可靠配電系統，高壓側和低壓側都是雙路聯絡，系統無單點故障。設備供電有48V直流、336V高壓直流和交流UPS三種，採用冗餘配置，其中直流開關電源系統為1+1配置，交流UPS系統為3N配置。
高壓直流設備
單機樓配備6個電力電池室，UPS配鉛酸電池，高壓直流分兩種：分立式用大容量鉛酸電池，組合式用磷酸鐵鋰電池。一個模組8000多塊鉛酸電池，3個機房樓就達2.6萬塊，再加上磷酸鐵鋰電池，一共6萬多塊電池。
每棟機房樓的柴發機房容納10臺2500KW高壓柴油發電機組，9+1配置，機組啟動時間<90秒，提供可持續應急發電，單油機室配備70立方米油料，可持續供電16小時以上；100立方米後備油箱可提供24小時後備發電用油保證，供電可靠性達到99.99%。
柴發（油機）室內MTU發動機與斯坦福發電機組成的柴油發電機組。園區很注重節約，柴發室內多套油機共用一套備用電瓶，置於車上方便共享
製冷：冰城饋贈自然冷源
每座機房樓旁邊有配套的製冷站，包括一個設於室外的550立方米蓄冷罐。製冷系統的規劃是每兩個機房樓結成一組，製冷站相鄰設置，中間有聯通管道，空調系統互相備份，每座機房樓的製冷站（含蓄冷罐）既可以獨立使用，也可以與相鄰的製冷站“手拉手”供一個，還可以在初期負載沒上來時2個結對的機房樓共用其中1個的製冷站，即1、1+1、1+0三種使用模式。
成對配置的製冷站和蓄冷罐，後者旁邊綠地覆蓋的地面下為地下蓄水池
單機樓製冷量6000RT（冷噸），兩個製冷站共設置2000RT高壓變頻離心式冷凍機組5+1臺，550立方米蓄冷罐2個，滿足IT負荷30分鐘不間斷供冷。
從園區的規劃來看，狹長的地塊切為基本對等的兩段，其中一段正好佈置6×3座機房樓，每一列中的6座機房樓正好兩兩相對，便於製冷站及蓄冷罐的耦合
園區所在的哈南開發區號稱“冰城雲谷”，“雲谷”已有照片和視頻為證，“冰城”更是符合我們日常的認知。一年中大部分時間較為寒冷的氣候給施工帶來了困難，窗口期只有5～11月短短半年的時間，卻也提供了更長時段的自然冷源。
製冷站內部，管線密集，排列有序
空調採用帶自然冷卻的集中水冷空調系統，全年至少8個月時間使用自然冷卻技術，節能量40%，並設置了熱回收系統，用於數據中心配套用房。在負荷50%的情況下，夏天PUE略超1.5，冬天可低至1.30以下。
B03機房樓正面，樓前綠地中間是其與B02的油庫入口（這與製冷站的耦合規則似乎正相反），樓後是預計相當長一段時間內都會處於“落單”狀態的製冷站
在冰封季節，室外的冷卻水需要保持流動以避免結冰，三期項目也在考慮使用乙二醇溶液降低結冰風險。
機房：三種空調末端組合
一期工程的3座機房樓為輕鋼結構倉儲式數據中心，分為兩層，每平米承重1～1.6噸，7級烈度抗震。鋼結構的建設速度快，承重能力也很強，但是在黑龍江這麼北的地方保溫是個挑戰，園區的二期工程已改為磚混結構。
鋼結構的另一個問題是會屏蔽手機信號，據說最初如果有人關在機房裡都難找到，後來加裝了很多設備——畢竟是移動公司本司，聯絡問題解決起來還是很專業的
機房為無架空地板設計，採用熱管背板、水冷前門、列間空調三種空調末端，根據各自的特性，有以下幾個劃分原則：
機櫃尺寸：熱管背板和水冷前門尺寸固定，都適配42U的標準機櫃，其他尺寸的“非標”機櫃採用列間空調；
機櫃上方的熱管管路
部署樓層：二層只用（當然一層也有）熱管背板，因為要求水不進機房，以免漏水對樓下造成損害。水冷前門的前下方有50cm深的溝，以容納水管兼作為應急排水溝；
隔籠裡採用水管前門的機櫃，注意機櫃前下方
冷熱通道：熱管背板是在機櫃後方工作，將熱空氣冷卻後送回到機房空間，所以整個機房是冷通道；水冷前門正相反，整個機房是熱通道，熱空氣由前門吸入冷卻後送入服務器，據稱在考慮以後改用水冷後門，這樣與熱管背板的佈局就一致了。
水冷前門打開是服務器前面，熱管背板打開是服務器後面（聽著是不是有點像狒話）
列間空調吸入機櫃後方排出的熱空氣進行冷卻後送回到機櫃前方，機房空間有冷熱通道的劃分。如果三期工程上微模塊，列間空調也是很好的搭檔。
功率密度：水冷前門單機櫃冷量6.6KW，熱管背板可以支持每機櫃10KW，列間空調可以根據機櫃功率密度的需求增加安裝數量。
一層使用熱管背板的機櫃，背板相對側通道總有支柱
每棟機房樓32個模塊，單機房100+個機架，一期工程共96個模塊、9000個機架。電力擴容後，單機樓支持的機架數量可以從3000架增至4000架。
客戶&運維
整個園區於2018年6月1日正式運營，所以看到的設備都很新，“經常上新機器，一週7天，有3天在（給機櫃）加電”。我在機房裡看見了很多戴爾PowerEdge R740xd（2U）和R640（1U），都是2017年下半年推出的基於英特爾至強可擴展處理器（代號Skylake）的服務器，也證實了這一點。
一期入駐客戶有阿里巴巴、百度、銀聯、中國銀行、中信銀行、黑龍江省公安廳、360、愛奇藝、搜狐、中石油等。哈爾濱私有云資源池是信息技術中心業務承載的重要佈局點之一，部署服務器2.2萬臺，目前承載了三大平臺：人工智能（AI）、大數據（Big Data）、雲計算（Cloud），未來將增加邊緣計算（Edge）。承載業務包括：139郵箱、和彩雲、和彩印等。
中國移動（哈爾濱）數據中心還有合建、定製數據中心業務，在半定製化中增加了機房精密空調製冷的選項。
園區設有2棟辦公樓、1個餐飲中心、1棟宿舍樓。數據中心運維團隊約150人，全專業、電信級維護隊伍為用戶提供7×24小時的售後保障服務，並與施耐德、華為共同開發了智能化管理系統。
中國移動（哈爾濱）數據中心是本地業內唯一通過Uptime M&O認證的數據中心，也在考慮Uptime的設計和建造認證，但出於週期較長等原因，預計三期有可能實施。
新基建：因地制宜待風電？
上週召開的中共中央政治局常務委員會會議上，強調要加快推進國家規劃已明確的重大工程和基礎設施建設，包括5G 網絡、數據中心等新型基礎設施的建設進度，“新型基礎設施建設”（簡稱“新基建”）立時成為熱詞，而我們從2018年發起“數字中國萬里行”就已經將數字化基礎設施看作中國基礎設施建設的新階段：
過去十年間，我們親眼見證了中國基礎設施建設取得的輝煌成就：高鐵總里程世界第一，建造了眾多排名世界前列的高橋、長橋，包括世界最長跨海大橋港珠澳大橋……高鐵和各種橋樑，把我們更為緊密的連接在一起。
這也是中國數字化基礎設施飛速成長的十年。隨著雲計算、大數據、物聯網的發展，新一輪信息技術革命持續升溫，數據呈現出了爆炸式增長，數字化、信息化在十年間帶動了巨大的社會和產業變革。數據中心作為數字化基礎設施的核心節點，也得到了飛速的發展。
新基建中的數據中心“新”在何處？還沒有看到很清晰的官方定義，但是更好的支持互聯網、雲計算、人工智能等數字化科技創新，造福教育、醫療、社保等民生領域肯定是個中關鍵，而傳統數據中心行業經常被人詬病的低利用率、高能耗等弊端也應得到不同程度的克服。
國內數據中心行業長期以核心城市為發展重點，這裡面有其現實性和必要性，但是長期養成的習慣使得在非核心城市區域建設的數據中心，對於“因地制宜”這幾個字的認識往往不夠深刻。數據中心的網絡條件和能源結構都與所在地點有密切的關係，也很大程度影響了其利用率與能效。
從這個角度可以看到從二層伸出的柴發排氣管、配電室通往柴發室的管路，以及二期2座機房樓的地基建設情況，本狒也在鏡頭中……
以中國移動（哈爾濱）數據中心為例，從整體規劃來看，各方面都滿足超大規模數據中心的標準。但是，規劃能否完成，以及多久完成，與客戶入駐的情況直接相關，而這就很大程度上受到網絡條件的制約。
不論是在中國移動還是全國的大型數據中心佈局裡，中國移動（哈爾濱）數據中心都可以說是最北端的一個，與廊坊形成跨區互備，但若用戶位置再往南的話，其網絡延遲在滿足在線應用需求上將處於不利境地。附近地區的經濟發展相對平淡，周邊國家除了跨海相望的日本、韓國，要麼地廣人稀，要麼經濟更不發達，難以產生足夠的本地需求。離線應用會不會是一個發展方向？需要解決的問題也很多。
離線應用的一個優點是耗能相對較少。哈爾濱地區的電價並不佔優勢，每天數十萬元的電費是個不小的負擔。中國移動（哈爾濱）數據中心採用多種餘熱回收手段節約能源，包括配電室餘熱（冬季）通過管路送熱風到柴發室（避免低溫啟動）、給電池室加溫（保證25℃最佳溫度），機櫃的熱回收滿足園區取暖需求。據稱1400個機櫃的熱回收就夠整個園區使用，能不能供給周邊小區回饋市政，還要與政府協調。
另一個需要考慮的是清潔能源。由於能源結構和企業認知等問題，我國數據中心行業對風能、太陽能等可再生能源的利用水平不高。黑龍江及附近的蒙東、吉林等地都有千萬千瓦級風電基地，但是長期以來我國的風電上網狀況並不理想。如果在政策的支持下，中國移動（哈爾濱）數據中心能夠大力消納風電資源，未嘗不是個突破點。
個人認為，“新基建”中的數據中心一項，應將對可再生能源的利用列入考核範圍。不過，這又是個系統工程，需要解決的環節實在太多。
僅就利用可再生能源一項，數據中心的新基建之路，任重而道遠。
數字中國萬里行
2018年，“數字中國萬里行”正式啟動，見證了互聯網和雲計算驅動下中國數據中心行業的蓬勃發展。2019年，“數字中國萬里行”繼續追蹤中國數字化基礎設施建設的新進程，展開“雲數據中心之旅”、“金融數據中心之旅”以及“數字化轉型之旅”，涉足京津冀、長三角、珠三角和西南地區等四大區域，觸達金融、製造等行業，造訪20家數據中心。2020數字中國萬里行探訪新基建之路的計劃也已在醞釀中，有意加入我們參觀路線的公司或個人可在本公眾號後臺留下聯繫方式。
閱讀更多 DT時代 的文章
