Akamai Technologies推出Akamai Inference Cloud。該平台透過將推理從核心資料中心擴展至網際網路邊緣,重新定義了AI應用的場景與方式。
Akamai Inference Cloud能夠在更靠近使用者與設備的位置進行智慧化推理。不同於傳統系統,該平台專為在全球範圍內提供低延遲、即時的邊緣AI運算而設計。此次推出的Akamai Inference Cloud,結合Akamai在全球分散式架構方面的深厚經驗與NVIDIA Blackwell AI基礎架構,對實現AI真正潛力所需的加速運算能力進行了顛覆性重構與擴展。
從個人化數位體驗、智慧代理到即時決策系統,下一代的AI應用程式迫切需要將AI推理部署於更靠近使用者的位置,以便在互動瞬間完成反應,並對請求的路由與執行路徑做出智慧化決策。
智慧代理的工作負載日益仰賴低延遲推理、本地環境感知以及即時全球擴展的能力。專為推動此變革打造的 Akamai Inference Cloud,是一個分散式、生成式邊緣平台,可在更接近資料產生與決策執行的位置部署NVIDIA AI技術堆疊。
Akamai執行長暨共同創辦人Tom Leighton博士表示,下一波AI浪潮的發展同樣需要更靠近使用者—正如網際網路當年能夠成長為今日的全球平台一樣。Akamai曾成功解決這一挑戰,如今我們再度迎接新一波機遇。借助NVIDIA的AI基礎架構,Akamai Inference Cloud將在全球數千個節點上部署AI推理能力,以滿足不斷成長的運算與效能需求,從而實現更快速、更智慧、更安全的即時反應。
NVIDIA創始人兼首席執行官黃仁勳指出,推理已成為AI中最密集的運算環節—並且必須在全球規模下即時進行。NVIDIA與Akamai的合作,正是將推理能力推進到更靠近每一位使用者的位置,提供更快速、可擴展性更強的生成式AI服務,釋放新一代智慧應用的潛力。
Akamai Inference Cloud透過將智慧代理AI推理能力擴展至更靠近使用者與設備的位置,重新定義了AI應用的方式。該平台整合NVIDIA RTX PRO Server(配備NVIDIA RTX PRO 6000 Blackwell伺服器版 GPU、NVIDIA BlueField-3 DPU與NVIDIA AI Enterprise軟體),並結合Akamai的分散式雲端架構與遍布全球超過4,200個據點的邊緣網路。Akamai Inference Cloud也將運用 NVIDIA 最新技術(包括新發佈的NVIDIA BlueField-4 DPU),進一步加速並強化從核心到邊緣的資料存取與AI推理工作負載,推動Akamai實現其打造全球高可擴展、分散式AI架構的願景。
Akamai與NVIDIA攜手合作,透過Akamai Inference Cloud,以前所未有的方式推進AI推理,共同開創AI發展新篇章:
- 將企業級AI工廠延伸至邊緣,賦能智慧代理與個人化體驗:AI工廠是強大的引擎,負責統籌管理從資料擷取到大規模智慧生成的完整生命週期。Ak amai Inference Cloud將AI工廠延伸至邊緣,使資料與處理能去中心化,並藉由Akamai廣泛的邊緣節點將請求路由至最佳模型。這讓智慧代理能即時因應使用者位置、行為與意圖,並自主完成即時協商、購買或交易最佳化。
- 支援串流推理與智慧代理,實現即時金融洞察與決策:AI智慧代理往往需多次連續推理才能完成複雜任務,這可能導致延遲並降低使用者體驗。若每次推理都需遠端呼叫,則會造成網路延遲與反應遲滯。Akamai Inference Cloud的邊緣原生架構提供近乎即時的回應,使AI智慧代理能在多步驟流程中以接近人類的速度運作,在詐欺偵測、安全支付與工業邊緣即時決策等場景中發揮重大作用。
- 使實體AI具備超越人類的反應速度:無人駕駛車輛、工業機器人與智慧城市基礎設施等實體AI系統,需要毫秒級決策能力才能安全地與真實世界互動。Akamai Inference Cloud旨在為這些系統賦能,使其能即時處理感測資料、進行安全判斷並協調行動,讓工廠產線、配送無人機、手術機器人與智慧交通網絡都能成為與人類安全協作、反應迅速的智慧體系。
- 加速價值實現:在多個雲端區域編排複雜的分散式AI工作負載需要專業技能與團隊。Akamai Inference Cloud的智慧編排層可自動將AI任務路由至最佳地點—常規推理透過邊緣的NVIDIA NIM微服務即時執行,而複雜推理則交由集中式AI工廠處理。所有流程皆由單一平台統一管理,大幅降低基礎架構的複雜度。