製造業透過生成式AI來建構研發單位的知識管理系統，將已開發的程式設計成為內部撰寫的標準，如此一來，便能減少新進人員的訓練時間，在開發過程中也更能事半功倍；而醫療院所也開始運用生成式AI來縮短護理交班時間，大幅改善傳統手寫交班至少要花上一至兩小時的現況。
生成式AI（GenAI）已是多數企業用來創新營運與改變客戶體驗的重要策略。近期，調研機構Gartner發布全球GenAI支出調查指出，不管是服務、軟體、設備或是伺服器等相關的需求都有著顯著的增長，平均來看，2025年全球GenAI總體支出將上看6,440億美元，較去年增長76.4%。
HPE標準運算系統暨數位銷售事業處副總經理郭裕昇觀察，幾乎每家企業都想要打造GenAI相關應用，但總體來看，還是會以提升內部生產力為主要目標。例如製造業透過生成式AI來建構研發單位的知識管理系統，以減少新進人員的訓練時間，在開發過程中也更能事半功倍；而醫療院所也開始運用生成式AI來縮短護理交班時間，大幅改善傳統手寫交班至少要花上一至兩小時的現況；其他，像是企業助手或智慧客服的應用也很常見。
他提到，雖然生成式AI可以協助護理師透過口述交班內容後直接轉成文字，再進行重點摘要，以大幅減少護理師交班時間，但是最後還是需要由護理師來審查其正確性，確認是否符合交班的品質，原因在於這些紀錄也會涉及到健保費用的申請，因此並不是提高效率就好，還要包含語音質檢，才能確保生成文字的品質。
兩大類型方案滿足企業所需
為了協助企業加速應用，HPE也提供了兩種類型的解決方案供企業選擇，一是一站式私有雲AI解決方案，協助企業在地端啟動內部專案以建立符合產業特性與在地化的語言模型。在這方面，HPE與NVIDIA合作提供了全方位基礎架構HPE Private Cloud AI，其整合了HPE的硬體、軟體（HPE Ezmeral Unified Analytics）、儲存、網路，以及NVIDIA的AI技術，如NVIDIA NIM微服務和NeMo框架等，同時也支援NVIDIA AI Data Platform，因此更能有助於協助企業加速生成（Generative）、代理式（Agentic）和實體（Physical）AI的價值實現，以最快速度釋放其商業數據的完整價值，進而驅動AI行動。
另一種選項則是軟硬整合方案，目前HPE已與多家獨立軟體開發廠商（ISV）合作，提供優質的解決方案與顧問服務，協助企業共同打造全方位的AI應用。例如，近期也與MaiAgent合作，可在HPE伺服器、儲存或網路設備體驗MaiAgent AI助理開發平台，以加速企業轉型。MaiAgent是專為企業和公部門打造AI助理而生的平台，提供多種模組與功能，並支援多種大型語言模型（LLM），結合RAG（檢索增強生成）技術，確保回覆精準度和資安防護。透過該平台，企業將可快速打造符合需求的AI助手、打造24小時全天候AI客服，或是建立智慧的知識庫管理，讓企業內部知識快速數位化，或是應用在品質監測上。
郭裕昇觀察，這兩類方案都各有需求，若是企業對於GenAI的精準度與期望值較高，那麼就需要較高運算力的方案才能得以實現，「在過往經驗中，有些企業認為精準度非得做到95分不可，但也有一些應用只要70分就達標，實務上，當GenAI的精準度要求越高，企業所需要投入的心力、成本以及運算的要求就會呈線性等比增加。」他提到，不少企業以為精準度可以從70分調校到80分，那麼從80分到90分應該也不難，實情是，分數要求越高，越需要大型語言模型，才能做到更精確以及更人性化，而這也會需要更多的GPU算力來加以支援。
預算、電力與人才 均須克服
從規格面來看，HPE Private Cloud AI共提供三種規格配置選擇，小型方案可搭載4或8張NVIDIA L40S GPU，並且提供109TB檔案／物件儲存，以及100GbE的解決方案，可應用於AI推論。而中型選項則提供8或16張NVIDIA L40S GPU、217TB檔案／物件儲存，以及200GbE的解決方案，應用於AI推論和擷取增強生成（RAG）的應用中。大型方案則可搭載16或32張NVIDIA H100 NVL GPU，並且提供670TB檔案／物件儲存，以及400GbE的解決方案，適用於AI推論、RAG以及微調。
HPE Private Cloud AI加速Agentic AI開發。
值得留意的是，小型的推論方案，整機櫃的電力就需要8kW以上，更不用說大型方案為兩台機櫃的配置，單一機櫃就上看25kW。他提到，在協助企業評估的過程中，經常卡關的問題點就是企業既有機房電力不足，因為機房建置時並沒有預期會採購AI伺服器，設計初期就沒有規劃在內，因此機櫃功率密度通常落在7kW至8kW之間。然而，單台GPU伺服器可能就要接近10kW，若是放置三台GPU伺服器就要上看到30kW的電力。更不用說，GPU的熱能其實非常集中，需要更強的散熱能力，「企業向台電申請增加電力額度並沒有想像中容易，配電盤能否因應也是一個問題，電力不足往往也是導致專案延宕的一項很重要的原因。」
另一個挑戰則在於生成式AI的ROI較難評估，因此也導致許多企業猶豫是否要導入AI。原因在於，ROI並沒有標準，換算成可以減少多少人力相對容易，但是若要展現增加生成式AI後可以為公司增加多少營收，就非常困難。「依據經驗，如果總體預算是在300萬以內，企業的意願較高，即便最終生成式AI導入失敗，企業還保有硬體可以留做其他用途。但除此以外，專業人力不足也是一項挑戰。特別是資料科學家的量能。」郭裕昇繼續說明，如果沒有資料團隊，那麼好的Low-Code/No-Code平台就相對重要，讓員工只要輸入資料，就可以很快地運用。