企業AI正迅速從模型訓練與基礎推論，邁向自主性更高的代理式AI（Agentic AI）。相較過去以簡短提示為主的應用，代理式AI能進行複雜推理、執行長時間流程，並具備長期記憶與即時決策能力，也帶來基礎架構挑戰：如何打造支撐AI「活記憶」與長時間推論的資料基礎。
隨著AI會話時間拉長、模型支援更大的上下文窗口，推論需保留的KV Cache等脈絡資訊也會增加。然而，GPU VRAM、系統記憶體與本地儲存有限，大量推論上下文長時間佔用昂貴算力資源，會拖累效能並拉高基礎架構成本。
企業AI工作負載需跨節點、跨GPU靈活調度。當會話或工作負載移轉時，系統必須在毫秒級快速存取既有推論上下文，因此未來AI基礎架構除高速運算，更需要高擴充、低延遲並能跨環境共享的統一資料平台，作為AI長期記憶後盾。
另一項挑戰來自即時資料。AI代理若要依據最新企業資訊推理，資料系統須在資訊產生後快速擷取、轉換，提供RAG（檢索增強生成）等AI流程使用。若無法即時取得最新可信資訊，即使模型具備強大推理能力，也可能因過時資料降低準確性與生產力，因此資料處理流程如何更貼近資料所在位置，也成為重要考量。
隨著AI工作負載擴大，資料傳輸效率更加重要。即使擁有大量GPU，資料若無法快速送往運算資源，GPU仍可能因等待資料而閒置，因此低延遲資料通道與降低傳統資料移動負擔，成為打造AI工廠的關鍵。
除了效能，資料安全與治理也不容忽視。AI的可信度取決於資訊品質。當代理式AI持續存取企業資料，企業須具備資料可視性、保護與治理能力，包括主動稽核、勒索軟體防護及敏感資訊識別與隔離，並納入AI生命週期。
目前AI基礎架構競爭，正由運算能力延伸至資料儲存、共享、傳輸與治理。當企業由AI實驗走向大規模生產環境，需要思考的問題，已由擁有多少算力轉向是否具備彈性、安全且能支撐代理式AI演進的混合多雲資料基礎。
