摘要:騰訊的 "金蛋 "無疑是大量社交、游戲等領域積累的文本、音頻、視頻和關系類數(shù)據(jù)。這些數(shù)據(jù)是騰訊后來在多元業(yè)務擴展時屢試不爽的重型武器,本文為您解密誕生“金蛋”的騰訊數(shù)據(jù)中心的秘密。
互聯(lián)網(wǎng)行業(yè)是大數(shù)據(jù)的正兒八經(jīng)的"大客戶",無論是從海量、速度、實時、類型等任何角度都當之無愧。在成為用戶最多的中國互聯(lián)網(wǎng)公司后,騰訊這只專下"金蛋"的企鵝所掌握的用戶數(shù)據(jù)量也日益豐富。
如果說阿里巴巴擁有90%以上的電商數(shù)據(jù),百度擁有70%以上的搜索數(shù)據(jù),騰訊的"金蛋"無疑是大量社交、游戲等領域積累的文本、音頻、視頻和關系類數(shù)據(jù)。這些數(shù)據(jù)是騰訊后來在多元業(yè)務擴展時屢試不爽的重型武器,有分析人士說,"數(shù)據(jù)挖掘"才是騰訊最具門檻性質(zhì)的技術。
無論是云,通過網(wǎng)絡隨需調(diào)用的計算資源;大數(shù)據(jù),關聯(lián)的可分析在線數(shù)據(jù);還是各種智能終端,都要依托互聯(lián)網(wǎng),同時這些工具又幫助互聯(lián)網(wǎng)從中掘金。當然,在數(shù)據(jù)成為"金蛋"前還有個前提,就是獲取數(shù)據(jù),并有效的梳理與標簽。
騰訊公司數(shù)據(jù)平臺助理總經(jīng)理蔣杰曾驕傲地表示,在國內(nèi)互聯(lián)網(wǎng)體系中,騰訊擁有的數(shù)據(jù)覆蓋多個領域,總存儲數(shù)據(jù)量經(jīng)壓縮處理以后在100PB左右。騰訊QQ目前擁有8億用戶,4億移動用戶,在數(shù)據(jù)倉庫存儲的數(shù)據(jù)量單機群數(shù)量已達到4400臺,總存儲數(shù)據(jù)量經(jīng)壓縮處理以后在100PB左右,并且這一數(shù)據(jù)還在以日新增200TB到300TB,月增加10%的數(shù)據(jù)量不斷增長,現(xiàn)在騰訊的數(shù)據(jù)平臺部們正在為1000個PB做準備。
如果對各種TP和PB還缺乏感性認識,可以用幾個每天都會用到的業(yè)務說明騰訊目前數(shù)據(jù)量的龐大:僅QQ以及微信用戶每天上傳的照片,就是中國一個中型互聯(lián)網(wǎng)公司一個月的數(shù)據(jù)量;2014年除夕夜的高峰時段,每分鐘有1000萬條微信、3270萬條QQ信息發(fā)出;微信團隊專門為一些高頻祝福語設置了隱形的彩蛋功能,比如微信內(nèi)容中出現(xiàn)"萬事如意、大吉大利",屏幕上就會乒乒乓乓掉落很多桔子……事后統(tǒng)計,除夕當天中國人的手機上共掉落了65億多個桔子,如果榨成汁,足夠灌滿289個水立方。
"微模塊"之路
要應對不斷爆炸的業(yè)務數(shù)據(jù)需求,騰訊的數(shù)據(jù)中心部門一直處于"連跑帶顛"的追趕狀態(tài)。"業(yè)務部門對我們的要求經(jīng)常以'周'甚至'天'為周期。"騰訊網(wǎng)絡平臺部數(shù)據(jù)中心架構師李典林表示,正是快速、靈活、可擴展、高能效的要求,讓騰訊自然而然地走上了微模塊數(shù)據(jù)中心的道路。
從2010年起,騰訊已經(jīng)推出了幾個版本的微模塊數(shù)據(jù)中心;經(jīng)過不斷測試驗證,目前已經(jīng)形成了定型的版本。目前,騰訊對微模塊數(shù)據(jù)中心的標準定義是,以若干機架為基本單位,包含制冷模塊、供配電模塊以及網(wǎng)絡、布線、監(jiān)控在內(nèi)的獨立的運行單元。"麻雀雖小,五臟俱全",這是李典林對騰訊微模塊數(shù)據(jù)中心的形象評價。
騰訊的模塊化數(shù)據(jù)中心設計遵循"從小到大"的原則,即從機架、IT微模塊、機房模塊、建筑單體和園區(qū)逐層設計;而模塊化數(shù)據(jù)中心建設遵循"從大到小"的原則,即從園區(qū)、建筑單體、機房模塊、IT微模塊到機架逐層實施。"如果把服務器看成標準磚頭,機柜看成廚房/陽臺/洗手間,微模塊就是小戶型套房。通過微模塊,我們可以不斷復制堆疊,形成機房樓,乃至整個園區(qū)。"
騰訊的微模塊數(shù)據(jù)中心在制冷和供電方式實現(xiàn)了諸多創(chuàng)新。據(jù)李典林介紹,騰訊的微模塊數(shù)據(jù)中心不再采用傳統(tǒng)的架高地板制冷模式,而是采用了行級空調(diào)近距離送風以及冷通道密封技術,這大大減少了制冷的耗能和成本。
在供電方面,李典林表示,騰訊大多數(shù)數(shù)據(jù)中心已經(jīng)不再采用傳統(tǒng)的UPS,而是轉而采用"高壓直流(50%)+市電(50%)"的供電模式。"采用這種供電方案后,市電沒有中間轉換損耗,效率高達100%;高壓直流側可采用節(jié)能休眠模式,全負載范圍內(nèi)可以達到94%以上高效率。因此,綜合供電效率高達97%。此外,未來還可以無縫升級成市電主供+高壓直流后備的供電模式,達到99%以上供電效率。"
位于深圳龍崗區(qū)國人通信科技園的坪山數(shù)據(jù)中心,是深圳聯(lián)通為騰訊量身訂制的數(shù)據(jù)中心,騰訊負責合建數(shù)據(jù)中心及微模塊相關技術標準和規(guī)范的制定,而中興通訊集團下屬的中興網(wǎng)信則擔任工程設計建設總承包商的角色。由于坪山中心是聯(lián)通根據(jù)騰訊的需求訂制的,因而簡化了傳統(tǒng)運營商數(shù)據(jù)中心根據(jù)客戶需求進行改造的過程。"標準的模塊化數(shù)據(jù)中心,用戶唯一的界面就是微模塊,不會出現(xiàn)傳統(tǒng)數(shù)據(jù)中心角落能量不夠或者局部熱點等問題。在智能化方面,我們做了很多觸摸屏,用來隨時了解運行狀況,查看精細化的報表,未來還會與動力系統(tǒng)連接起來,達到智能運行。"
"坪山數(shù)據(jù)中心完全由微模塊組成,一期建設20個微模塊,二期建設40多個微模塊,總共部署了1200多個機柜。整個項目從裝修進場到完工,只花了4個多月的時間,二期40個微模塊從進場安裝到通過測試驗證只用了45天時間,充分體現(xiàn)了微模塊易復制、部署速度快的優(yōu)勢。"
在坪山數(shù)據(jù)中心的建設過程中,騰訊部署了由12個機柜和18個機柜組成的兩種不同的微模塊。"我們在有柱子的地方部署由12個機柜組成的微模塊,在沒有柱子的地方部署由18個機柜組成的微模塊,這種部署方式幫助我們實現(xiàn)了空間的靈活利用,"李典林說。此外,微模塊內(nèi)部的電源模塊、行間空調(diào)數(shù)量等可以根據(jù)IT機柜功率靈活配置數(shù)量,滿足不同功率密度的需求,目前微模塊內(nèi)可支持的最大機柜功率達到12KW。
作為工程建設實施方的中興網(wǎng)信數(shù)據(jù)業(yè)務部部長閆朝貴表示:"快速部署和標準化是模塊化數(shù)據(jù)中心的特點,兩者缺一不可。在實施過程中不僅要考慮如何快捷部署,也要考慮產(chǎn)品的標準化和通用性。快速部署是通過組件在工廠預安裝,到現(xiàn)場快速連接來實現(xiàn)。而模塊內(nèi)部的機柜、線槽、電纜、開關和管道等都采用業(yè)界標準設計,降低了客戶的維護成本。"
通過綜合采用各種技術,如高壓直流+市電直供的供電方式、行級制冷和冷通道密封技術,空調(diào)系統(tǒng)變頻節(jié)能等技術,使氣流循環(huán)的路徑最短,節(jié)能10%以上。"在深圳這樣的亞熱帶城市,數(shù)據(jù)中心PUE(PowerUsageEffectiveness,數(shù)據(jù)中心消耗能源總量與IT負載使用的能源之比,越接近1表明能效越高)保持在1.7是一個不錯的水平了,全國數(shù)據(jù)中心的平均水平在2.0左右,坪山數(shù)據(jù)中心在投產(chǎn)三分之一負載的情況下PUE值達到1.5,我們非常有信心在滿負載的情況下PUE降到1.4。"李典林說。雖然只是小小的0.1的變化,但對于數(shù)據(jù)中心這樣的耗電大戶來說,PUE每下降0.1,就意味著每年上千萬元電費的節(jié)省。
李典林對于Google、Fecebook等國外互聯(lián)網(wǎng)巨頭的數(shù)據(jù)中心能達到1.2甚至1.1以下的PUE非常羨慕,但缺乏天然冷源的深圳要達到這一數(shù)值的可能性幾乎為零,他只能將希望寄托在身處北方的騰訊天津數(shù)據(jù)中心,這座亞洲最大的數(shù)據(jù)中心總建筑面積9.33萬平方米,預計服務器托管能力超過10萬臺,建成后PUE將達到1.3左右的水平。
作為騰訊第一座大規(guī)模的純模塊化數(shù)據(jù)中心,坪山中心的建設規(guī)格很高,未來騰訊的微信、游戲等明星業(yè)務都會轉移到坪山數(shù)據(jù)中心,據(jù)李典林透露,目前微信的備份內(nèi)容已經(jīng)遷移過來。
默認路徑
"微模塊數(shù)據(jù)中心將是騰訊未來的數(shù)據(jù)中心建設思路。"李典林說。微模塊數(shù)據(jù)中心在互聯(lián)網(wǎng)行業(yè)得到賞識和推廣,源于其特點與互聯(lián)網(wǎng)公司的需求有眾多契合,這里面最重要的是:創(chuàng)新技術傾向與掌控力、快、靈活、標準與規(guī)模。
大型互聯(lián)網(wǎng)公司的業(yè)務多變性,對服務器、網(wǎng)絡、IDC資源的彈性需求非常大,因此互聯(lián)網(wǎng)公司一般擁有較強的技術團隊,把控著從服務器到網(wǎng)絡設備,再到數(shù)據(jù)中心系統(tǒng)的優(yōu)化定制--將自己對業(yè)務的需求轉化為定制硬件需求,并以產(chǎn)品化的思維進行開發(fā)和快速迭代,這是互聯(lián)網(wǎng)公司的區(qū)別于傳統(tǒng)商業(yè)IDC或企業(yè)數(shù)據(jù)中心的地方。
根據(jù)IDC數(shù)據(jù)中心趨勢研究人員MichelleBailey的說法,數(shù)據(jù)中心的模塊化模式有望在未來5年內(nèi)成為建造數(shù)據(jù)中心幾乎默認的方法,模塊化數(shù)據(jù)中心將成為未來數(shù)據(jù)中心發(fā)展的趨勢之一。
"其實,目前國內(nèi)對數(shù)據(jù)中心的投資力度其實并不低于4G。"閆朝貴表示,正是因為國內(nèi)風起云涌的數(shù)據(jù)中心投資熱,讓多年聚焦海外市場的中興網(wǎng)信回歸國內(nèi)市場,也帶回了在蘇丹、白俄羅斯等地多個國際公認最高規(guī)格的Tier4數(shù)據(jù)中心及國家級數(shù)據(jù)中心的設計建設經(jīng)驗。而相比起國外流行一時的集裝箱式數(shù)據(jù)中心,微模塊化數(shù)據(jù)中心的部署方式似乎更討得國內(nèi)客戶的歡心。
與傳統(tǒng)數(shù)據(jù)中心相比,采用微模塊化的數(shù)據(jù)中心擴展性成為一大亮點--數(shù)據(jù)中心的管理員只需要根據(jù)用戶的不同需求將相應數(shù)量的微模塊安放到位,在各模塊之間連接主干鏈路就可以完成網(wǎng)絡的擴展。
作為數(shù)據(jù)中心基礎設施的重要組成部分,將網(wǎng)絡、供電、制冷、消防、監(jiān)控等等采用模塊化方案部署后,數(shù)據(jù)中心的建設方式發(fā)生了較大變化--將數(shù)據(jù)中心的設計和大部分施工轉移到工廠進行預先定制,在將各功能模塊運輸?shù)浆F(xiàn)場,以"搭積木"方式配合客戶投資和業(yè)務發(fā)展需求進行搭建,從而靈活實現(xiàn)分期建設,大大提升數(shù)據(jù)中心效率。
互聯(lián)網(wǎng)企業(yè)數(shù)據(jù)中心建設多采用模塊化建設,一個或幾個微模塊支持某一類型的應用,當新應用功能出現(xiàn)時,相應的增加新數(shù)據(jù)中心微模塊,如Google、Facebook、Yahoo等都開始采用微模塊方式建設其數(shù)據(jù)中心。這些巨頭從IT設備層面深度定制,微模塊設計更為精簡和標準化,都是云時代IT及基礎設施深度定制的經(jīng)典案例,也是國內(nèi)數(shù)據(jù)中心微模塊未來發(fā)展的方向。(《IT經(jīng)理世界》記者孫泠/文)