咨詢QQ:
      雜志訂閱

      編輯

      網管

      培訓班

      市場部

      發行部

電話服務:
 010-82024984
 010-82024981
歡迎, 客人   會員中心   幫助   合訂本   發布信息
設為首頁 | 收藏本頁
數據中心高壓直流系統的設計及實踐
  • 近幾年采用高壓直流系統供電的數據中心相繼大量建成及投產,同時相關的行業標準規范也陸續出臺。高壓直流供電系統已被行業廣泛接受和推崇,在數據中心領域已進入高速發展的階段。本文結合工程實際,分析了高壓直流供電系統在大型互聯網數據中心的工程實踐中的優勢,希望能夠為工程建設人員提供參考。
  • 傳統數據中心行業一直采用UPS系統供電或低壓直流系統(48V)供電。隨著互聯網數據中心業務的持續快速發展,傳統的UPS供電模式在很多實際應用中不斷暴露其自身的缺陷,如:
      
      ①系統效率較低;
      
      ②系統靈活性和可擴展性不高;
      
      ③系統復雜、可靠性較差;
      
      ④系統維護難度大。
      
      為了提高運行效率及可維護性、提高系統部署的靈活性、降低成本以應付高速增長的海量數據中心服務器規模,我們大部分項目均采用了高壓直流(240VDC)供電系統向IT設備供電。在項目實踐中,高壓直流系統對模塊化數據中心的架構匹配更是明顯優于過去的UPS系統。
      
      1 數據中心電源系統方案
      
      傳統交流UPS系統由整流器、逆變器、蓄電池和靜態開關等組成。在市電正常時,市電交流電經整流器變換為直流電供給逆變器,同時給蓄電池充電,逆變器將直流電變換為50Hz交流電供給負載。在市電異常時,蓄電池放出電能,通過逆變器變換為交流電,供給負載。
      
      高壓直流系統(HVDC)主要由交流配電單元、整流模塊、蓄電池、直流配電單元、電池管理單元、絕緣監測單元及監控模塊組成。在市電正常時,整流模塊將交流配電單元輸出的380V交流轉換成240V高壓直流,高壓直流經直流配電單元給通訊設備供電,同時也給蓄電池充電。在市電異常時,由蓄電池給通訊設備供電,其原理圖如圖1所示。
      
      在早期數據中心的項目中,多采用交流UPS的供電方案。但是,逐漸地在設計和大量數據中心運營過程中,我們發現采用交流UPS供電存在較多的問題,如:
      
      ①系統工作效率較低。采用AC/DC整流、DC/AC逆變的雙變換,從UPS輸入到通信設備的電力變換次數多,每次變換都有能量損耗,降低了系統供電效率;
      
      ②系統穩定性不高。不同于HVDC電池直掛輸出母線,因為UPS輸出的是交流電,其蓄電池不能直接供電給負載,必須通過逆變模塊變成交流電輸出。所以如果逆變模塊出現故障,即使此時蓄電池正常,也無法供電負載;
      
      ③并機復雜以及負載率較低。為了提高可用度,一般UPS采用“N+1”并聯冗余或“2N”或2“N+1”架構。而由于并機復雜,正常情況下只有2~3臺并機。假設N=1,理論上每臺UPS的最大負載率為:2N系統為50%,2“N+1”系統為25%。而實際負載率為:2N系統為30%~50%,2“N+1”系統為15%~25%。在如此低的負載率下,UPS的系統效率將會進一步下降(模塊化UPS可以采用節能休眠技術,來提高低負載率下的效率);
      
      ④可維護性較差。交流UPS并機系統比較復雜,如果出現故障,往往需要廠家的維護人員進行操作,不間斷割接困難。而高壓直流系統結構簡單,維護工作容易開展,高壓直流模塊支持帶電熱插拔,可快速更換。
      
      從成本以及可靠性的優化角度,高壓直流系統應運而生。1999年,21屆INTELEC99(哥本哈根)會議,法國電信首次提出了高壓直流概念。2007年,國內江蘇電信開始試點240V(工作電壓204~288V)高壓直流通信電源產品。目前,以騰訊為代表的互聯網行業的大部分數據中心均采用了240V高壓直流供電系統。240V高壓直流技術和傳統的UPS技術相比起來,其主要的優點為:
      
      ①系統功率較高。采用功率MOS高頻軟開關技術的240V高壓直流有≥96%的效率,比采用晶閘管或IGBT的傳統UPS效率更高,體積更小。高壓直流的輸入功率因數高、諧波小,且輸出負載率可以比UPS高,可降低柴發容量等。節能休眠技術可以大大提升輕載下的系統效率,減少機房初期的運行能耗;
      
      ②系統穩定性高。電池直接掛在輸出母線上,可靠性更高,且可在線擴容、不掉電割接等。拓撲簡單,可靠性高;
      
      ③可維護性高。模塊化設計,按需配置、邊成長邊投資。模塊熱插拔維護,像更換硬盤一樣更換故障模塊,減少依賴廠家維保服務;
      
      ④安全性高。高壓直流比傳統UPS要更安全,因為輸出浮地,即便誤碰到單極母排電壓,觸電電壓也只有135V,比交流要低近1倍,且交流220Vac的正弦波峰值電壓高達314V,也高于高壓直流270V的電壓。
      
      另外,240V高壓直流可以直接使用在絕大多數的標準交流設備上(380V高壓直流等其他電壓等級則不行),IT設備不用定制電源及設備改造,也較容易推廣。
      
      2 數據中心高壓直流系統的設計對比
      
      在高壓直流供電系統的設計中,我們會遇到如何選取系統架構的問題,我們需要在系統的安全性、可靠性與工程建設的經濟性之間做出取舍。
      
      這里對幾種主流的供電系統結構做一個說明,供工程人員根據現場實際情況及負荷重要性等諸多因素靈活選取。
      
      (1)方案一:高壓直流單電源系統雙路供電(如圖2所示)
      
      這種方式系統結構簡單,建設投資小。缺點是由于服務器雙路輸入均來自于同一套高壓直流電源系統,系統在電源側存在單點故障瓶頸。
      
      (2)方案二:高壓直流雙電源系統雙路供電(如圖3所示)
      
      與高壓直流單電源系統雙路供電相比,高壓直流雙電源系統雙路供電中每臺列頭柜配置的輸入電源分別來自兩套電源系統,消除了系統的單點故障風險,提高了供電的可靠性,缺點是系統配置采用2N方式,系統的冗余度較大,建設投資大。
      
      (3)方案三:市電+高壓直流雙路供電(如圖4所示)
      
      這種方式采用一路市電電源,一路高壓直流電源的雙路供電形式,該方式該供電方式消除了系統的單點故障瓶頸,提高了供電的可靠性,且在每個機架內提供了交直流兩路電源,且市電路無需電能的轉換,可最大程度的提高系統效率。
      
      3 “市電+高壓直流”與傳統UPS供電架構的對比
      
      目前新建的互聯網數據中心,綜合成本和可靠性,大量采用方案三,即市電+高壓直流雙路供電。那么下面我們將從設備占地空間+用電效率兩個角度,將“市電+高壓直流”與傳統UPS供電架構進行進一步的對比。
      
      圖5是“2NUPS”和“市電+240VHVDC”從低壓側到服務器的供電拓撲。目前數據中心應用最為廣泛的容量等級約為400kVA、UPS負載功率因數典型值為0.8~0.9,折算成360kW,相當于同樣功率的單套1200A的高壓直流系統。即兩套400kVA的“2NUPS”和一路360kW市電+另外一路360kW的”240VHVDC“混合供電架構做對比,兩者容量基本一樣,供電可靠性也基本處于一個等級,具備可比性。
      
      由于變壓器及其輸入前級基本一樣不再比較,這里分別從變壓器輸出柜、不間斷電源系統、電源輸出配電柜、末端列頭柜等多級配電路由來進行對比,定量分析配電柜的造價成本及配電柜數量,后者會影響到機房空間占用面積及場地租金等成本。
      
      (1)低壓配電側
      
      對于400kVA的UPS,變壓器輸出側給到UPS需要兩個800A左右的框架斷路器,一個給到主路,另外一個給旁路,占用整個低壓配電柜。因此兩套UPS占用兩個整低壓配電柜。而對于“市電+240VHVDC”供電架構,市電直供支路直接由低壓母線排直聯的一個低壓配電柜直接輸出多路到各個列頭柜,比如該低壓配電柜內有5個250A的抽屜式塑殼開關,輸出五路直接直聯到五個市電直供的列頭柜。而高壓直流系統只需要一個800A的框架斷路器,占用半個低壓配電柜,剩余一個800A框架開關預留給另外一套高壓直流系統用。所以,在低壓側2N的UPS系統需要2個整低壓配電柜,共四個800A的框架斷路器;而“市電+240VHVDC”系統在低壓配電部分會占用半個低壓配電柜,即一個800A框架斷路器,以及一整個低壓配電柜,帶5個250A的塑殼斷路器。
      
      (2)不間斷電源系統
      
      考慮同樣大小的負載及同樣15到30min時長的后備電池時間,理論上電池的安時數應該是基本一樣的,這里不再深入比較。再考慮不間斷電源系統本身,對于400kVA的UPS通常都有一個輸入配電柜、兩個主機柜及一個主輸出開關共四個配電柜。對于1200A的“240VHVDC”也類似有一個輸入配電柜、兩個整流柜及一個輸出熔絲配電柜,共四面柜子。可見,不管是電池還是不間斷電源系統的機柜數量及占地面積兩者差異不大,各占用了四個不間斷電源系統柜。但這個配電層,市電直供支路無需任何開關及配電柜。因此,對于2N的UPS架構占用了八個機柜位,而“市電+240VHVDC”架構只占用四個機柜位。
      
      (3)輸出配電柜
      
      每套400kVA的UPS輸出通常都需要一個800A或者630A的框架斷路器,以及五個左右的250A抽屜柜到每個列頭,所以每套UPS的輸出配電柜部分會占用兩個配電柜位,即一個800A的框架斷路器及五個250A的塑殼斷路器。因此,兩套2N的UPS系統共需要四個配電柜位、兩個800A框架斷路器及十個250A的塑殼斷路器。而對于“市電+240VHVDC”系統,市電直供支路無需配電柜及開關,同樣對于“240V HVDC”系統,由于其輸出配電部分已經包含在電源系統的輸出熔絲柜內了,所以也不需要額外輸出配電柜及輸出開關等。
      
      (4)列頭柜層級
      
      基于同樣總功率及單機柜功率密度來測算,2N的UPS和“市電+240VHVDC”兩個方案在列頭柜數量及配電開關數量方面可以認為基本一樣,只是會在微斷及線纜方面會有些差異,造價有所不同。直流微斷比交流微斷貴,因此配電空開造價“市電+240V”架構會貴一些。在線纜投資方面,UPS系統因為增加兩套輸出配電柜及線纜,以及手動維修旁路線纜等;而240V的HVDC因為是單相供電,高壓直流輸出到列頭柜的單相線纜成本會比2N的UPS的三相傳輸線纜成本稍高些,但總功率一樣,耗銅量差別不會很大。可以認為“市電+240VHVDC”的線纜總投資不會超過2N的UPS的線纜總投資。
      
      綜上所述,供電能力均為360kW的市電+240V高壓直流相比2N的UPS,減少配電柜數量。按項目經驗估算降低一次性投資42萬左右,約節省37.5%的投資成本,并節省占地面積六個配電柜以上。前面分析了很多一次性投資成本CAPEX及占地面積的比較。對于數據中心而言,更長的生命周期處于運營階段,而運營成本構成中很大一塊是電費。下面繼續分析OPEX中的用電成本,對于360kW的系統,這里按320kW的實際負載來估算,分別比較2NUPS和市電+240VHVDC在8年生命周期內的總電費差異。
      
      UPS系統的效率往往隨著負載率的提升而增加,如果UPS系統長期處于輕載狀態,那么運行的實測效率并沒有達到宣稱的最高效率點。對于2NUPS架構,每套UPS的負載率往往只有30%~40%之間,雖然選用了最高效率為94%的UPS,但實際的運行效率很可能只有90%左右。而對于“240VHVDC”系統,由于有電池直接掛接母線,那么高壓直流系統是允許節能休眠的,監控會自動開啟需要工作的電源模塊數量,并使電源系統在任何負載情況下都可以工作在最高效率點附近,即高壓直流可以在全負載范圍內都達到94%以上效率,而市電直供支路基本是100%供電效率,因此市電+240V HVDC綜合供電效率為97%。
      
      由于每kWIT都需要經過不間斷電源系統供電,因此320kW的IT負荷經過90%效率的2NUPS架構每年損耗的電費(按每度電0.8元估算)高達22.43萬元,而“市電+240VHVDC”損耗6.73萬元。此外,電力室內的不間斷電源設備產生的熱量需要額外的空調系統帶走,還需考慮這部分空調能耗產生的電費,為簡化分析按電力空調的散熱能效COP為4估算。這樣320kW的IT負荷在數據中心8年的生命周期內,僅僅計算不間斷電源系統效率損耗及電力室空調能耗,2NUPS供電架構損耗電費224.32萬元,而“市電+240VHVDC”損耗電費67.28萬元,節省了157萬元的運營電費。
      
      綜上所述,在類似可靠性及輸出能力的2N配置400kVAUPS和容量為360kW的“市電+240VHVDC”供電架構,在帶320kW負載的模型下,市電+240VHVDC供電架構比傳統的2NUPS架構減少投資42萬,并節省6個配電柜。還在機房運營的8年生命周期內,節省運營電費157萬。折算成TCO,僅僅在CAPEX及OPEX的電費部分就節省投資200萬。
      
      4 數據中心高壓直流系統的實踐
      
      騰訊第三代數據中心供電系統,采用“市電+240VHVDC”系統架構,該架構開啟ECO模式后的供電效率高達近98%,比雙路高壓直流系統節能2%以上,比傳統UPS節能6%以上。且節能效果在輕載下尤為明顯,開啟ECO模式后的高壓直流系統在負載為30%及以下時,總系統節能高達10%以上,這還未算電源系統散熱能耗帶來的額外節能收益。
      
      在對騰訊數據中心過去兩、三年的基礎設施事故統計后,我們發現UPS故障發生的次數較多,總發生次數占比達9%,基本上每年都會發生四、五起UPS故障導致的服務器掉電惡性事故發生。但采用高壓直流供電的數據中心,雖然偶爾會有整流模塊故障發生,但從來沒有過因高壓直流電源系統故障而導致的服務器掉電事故發生過(騰訊從2010年開始采用高壓直流技術,目前存量在用的高壓直流系統數量占多數),所以從基礎設施測故障次數上看,采用高壓直流供電的數據中心可靠性要高于采用UPS供電的數據中心。
      
      我們繼續從基礎設施故障導致服務器掉電總數量的層面來分析,高達41%的服務器掉電原因是UPS故障,雖然UPS故障發生次數占比僅僅9%,但其中某次UPS故障就影響到了上千臺服務器掉電,故障波及面非常大;同樣的,因為高壓直流供電機房沒有出現過因為高壓直流電源系統問題導致的服務器掉電事故發生,所以從這個層面上看,受高壓直流系統故障影響的服務器數量為零,采用高壓直流的數據中心供電可靠性方面有了非常大的提升。
      
      5 結束語
      
      通過回顧和總結大量的項目設計及運營經驗,高壓直流供電系統在數據中心工程實踐中的優勢非常明顯。尤其是對于大型互聯網數據中心,綜合建設靈活度、成本、可靠性、可維護性等多方面因素考慮,采用高壓直流供電系統成為了數據中心供電方案的首選。
      
      作者簡介
      
      朱華,騰訊數據中心技術發展中心總監,中國工程建設標準化協會數據中心技術委員會副主任委員,中國通信標準化協會開放數據中心委員會數據中心工作組組長。
      
      編輯:Harris
      

  •  
  • 彩票发起合买软件