生成式人工智慧（GenAI）進入企業應用後，IT管理者面對的挑戰已不再只是挑選大語言模型（LLM），而是如何有效協調算力、資料、代理型AI與既有應用系統。
Red Hat全球副總裁暨大中華區總裁曹衡康表示，各部門的需求、資料與成本條件不同，各部門未必適合共用相同模型。企業制定AI策略時，須評估模型選擇彈性、資料隔離、算力配置與中斷風險，避免流程過度依賴單一模型或基礎設施。
曹衡康指出，企業即使為不同部門建立多個應用入口，只要共用模型與資料來源，使用者仍可能透過反覆調整提示詞，取得超越原有權限的敏感資訊。此類風險可能造成薪資、內部政策與營運資料外洩。因此，多模型架構也須納入資料邊界、身分權限與查詢稽核，依部門職責限制模型可存取的資料範圍，並保留查詢紀錄。
模型亦可能因安全事件、服務調整或供應條件改變而無法繼續使用。曹衡康認為，企業採用多模型，可依功能、效能與風險替換，並在主要服務異常時將工作負載導向其他模型。金融業等高度依賴持續營運的組織，若雲端AI服務中斷，可能影響交易、客服與決策流程，因此須建立跨環境導流與備援機制，將關鍵資料與模型保留於地端環境。
算力選擇也會影響AI成本。曹衡康表示，GPU具備強大平行運算能力，使用成本也相對較高；摘要、分類、內部文件查詢等較單純工作，則可評估採用CPU執行推論。管理者應依模型規模、延遲、詞元用量與資料敏感度分配資源，避免所有任務集中於高成本算力。
混合雲因而成為AI應用的重要部署模式。企業可將一般服務配置於公有雲，涉及核心資料、法規遵循與營運持續性的工作負載，則部署於私有雲或地端環境。曹衡康表示，未來企業內部將同時存在不同GPU、CPU、模型與AI代理（AI Agent），平台須提供一致的部署與管理機制，才能在資源調整時維持應用穩定，降低移轉與重新整合成本。
Red Hat全球副總裁暨大中華區總裁曹衡康指出，隨著模型與算力選項增加，企業須建立跨環境平台管理能力，兼顧成本、安全、部署彈性與營運韌性，支援AI應用規模化落地。
曹衡康觀察，如同Linux與Kubernetes已分別成為雲端與容器環境的技術基礎，AI工作負載也將延續開放架構方向。Red Hat以OpenShift作為平台核心，支援不同算力、模型與雲端，讓企業依成本、效能與治理條件選擇技術組合，並保留後續替換空間。
此外，Red Hat AI 3.4新版採用硬體底層至智慧代理（Metal-to-Agent）架構，透過模型即服務（MaaS）提供受治理的模型存取介面，管理者可追蹤使用量並落實存取政策。AgentOps則涵蓋可觀測性、加密身分驗證與生命週期管理，協助企業管理代理工作流程。