高密度AI機櫃進場後,能否如期啟用,常取決於機房原有的配電、冷卻、網路與搬運條件。若機櫃深度超出現場動線、地板荷重不足,或冷卻設備無法排除集中熱量,仍可能無法部署。對需要持續擴充GPU的企業而言,提前確認各系統能否協同運作,已成為算力交付的重要工作。
Supermicro台灣區資深副總裁暨總經理劉慶明觀察,傳統企業機房的電力與熱量往往分散在多座機櫃,但高密度AI設備卻可能在單櫃集中消耗約100 kW。機房即使有足夠的總冷卻能力,也未必能及時帶走局部熱源。困難之處是讓電力、散熱、儲存與網路同時滿足需求,確保GPU持續產出有效算力。
Supermicro產品管理總經理林振瑋指出,傳統伺服器更新與擴充較容易按照年度預算預測,AI工作負載卻帶來處理器功耗、設備密度及系統互連需求的變化。同一企業可能同時設置集中管理的資料中心與研發部門小型機房,各有建置限制。這使標準化的設備組合仍須配合實際場域調整,並預留下一階段擴充空間。
液冷整合考驗工程能力
因應企業需求,Supermicro提供以資料中心模組化解決方案(DCBBS)整合運算與儲存系統、機櫃內部配電和冷卻、列間冷卻、場域設施、管理軟體與部署服務。劉慶明說明,高密度AI機房的問題常涉及多個系統,若伺服器、電源與散熱設備各自設計,可能在設備進場後才發現接線、管路或冷卻能力無法配合,因此必須在規劃階段一併處理。
林振瑋指出,模組化設計會先區分哪些元件需要隨新一代處理器改變,哪些可以繼續沿用。例如規格未改變的機殼、結構與部分元件,可讓不同機型或部分世代共用,縮短重新設計與驗證的時間。這項做法也延伸至電源及液冷設備,再依客戶的機房條件選用適合的模組。
以晶片級直接液冷(DLC)為例,冷卻液流經貼合CPU與GPU的冷板,吸收熱量後返回冷卻液分配單元(CDU)。在液對液架構中,CDU透過泵浦維持冷卻液循環,並利用熱交換器將熱量傳遞至設施端冷卻迴路。依部署規模不同,CDU可安裝於機櫃內,也可設置於機櫃列旁,集中供應多座機櫃。
林振瑋解釋,假設單座機櫃有10台伺服器,各台CPU與GPU的發熱量、安裝位置和管路長度都可能不同。冷卻液容易流向阻力較小的管路,其他管路便可能流量不足。因此,工程人員須調整管徑、管路配置與泵浦供液能力,讓各個元件都獲得足夠的冷卻液,才能有效帶走熱量。
漏液風險則須透過元件選擇與監控機制共同管理。劉慶明表示,接頭在插拔時能否防止漏液,必須在設計與選型階段先行確認,整套系統也要通過驗證後才交付。運作期間再由軟體監測漏液與CDU壓力,發現異常時發出告警,並採取相應的保護措施,降低液體持續外洩的風險。
既有機房若沒有液冷管路,也須評估如何沿用原有空調。劉慶明舉例,部分機房的空調足以處理分散的熱量,卻無法直接應付單櫃集中的高熱負載,便可在液冷機櫃旁加裝液對氣熱交換設備,將冷卻液吸收的熱量傳給空氣,再由既有空調排出。如此可減少新增機房水管的工程,但原有空調仍須具備足夠的排熱能力。
散熱之外,儲存配置也須配合實際應用。林振瑋提到,曾有客戶改變設備用途後,GPU使用率偏低,檢查後發現竟因儲存系統無法滿足新工作負載的資料需求。團隊依應用重新搭配儲存方案後,才改善GPU使用效率。這也說明,評估運算效能時,須同時檢查資料讀取與網路傳輸能力。
預先驗證降低部署風險
機房擴充的另一項挑戰,是現場施工與物料進出受到管制。林振瑋表示,既有資料中心有嚴格的門禁,連更換線材都可能需要登記;大型設備的安裝也受到空間與作業規範限制。若設備進場後才逐項組裝與測試,任何線材或管路問題,都可能拉長上線時間。
因此DCBBS方案將機櫃組裝、配線、冷卻管路連接與測試,盡可能提前在工廠完成,並進行L11機櫃層級與L12叢集層級驗證,確認伺服器、網路互連及相關基礎設施的整合狀態。檢查範圍涵蓋伺服器與網路連接,以及供電、冷卻設備的整合,減少設備抵達現場後才發現問題的情況。
這種方式也讓設備整合與機房工程可以同步進行。林振瑋指出,機房仍在施工時,供應商便可在工廠組裝機櫃,無須等現場完工才開始。大型專案則可依實際建置進度分批交貨,讓每批設備的進場時間配合現場供電、供液與網路條件,避免設備到貨後長時間等待。
設備上線後,管理範圍也須涵蓋伺服器與供電、冷卻設備。SuperCloud Composer管理軟體可整合伺服器、網路、配電單元(PDU)與CDU,提供電力管理、漏液偵測與告警。林振瑋指出,既有機房通常包含不同廠牌的設備,需要透過共通管理介面整合,因此導入前便須確認各設備可提供哪些監測資料,以及哪些功能可由管理軟體控制。
面對AI設備持續更新,機房規劃須同時考量本次部署與後續擴充。企業若能在採購前確認機櫃尺寸、地板承重、供電、散熱與資料傳輸需求,並將工廠測試、現場接線與驗收納入交付計畫,便可減少重複施工與設備閒置,讓新增算力及早投入使用。
