Intel Xeon G5 AI Everywhere AI加速 Intel Core Ultra 能源優化模式

Intel在台揭櫫AI Everywhere願景 合作夥伴相挺展現成果

第五代Xeon處理器上市 AI加速、能源優化並進

2024-01-10
人工智慧正在觸及生活與工作的各個層面,尤其是ChatGPT問世後,全球再度掀起新一波AI應用熱潮。為了加速企業實現AI轉型與創新,近期,Intel在台揭櫫「AI Everywhere」願景,除了發布首款運用Intel 4製程技術的Intel Core Ultra處理器(代號Meteor Lake)、第五代Intel Xeon處理器(代號為Emerald Rapids)外,也介紹最新版本的OpenVINO 2023.2工具套件,全面打造AI無所不在的未來。

不只是新產品的推出,Intel也展現與合作夥伴共同發展下一代產品的最新成果,現場展示10款基於Intel Core Ultra的PC,以及超過25款基於第五代Xeon處理器的系統和主機板,展現合作夥伴與台灣產業生態系強大的研發能量,一起探索AI應用的無限可能。

英特爾副總裁暨台灣分公司總經理汪佳慧指出,AI正在改變人與科技間的互動,無論是人與機器、人與資料或是人與科技之間,未來的工作負載都將因此產生巨大改變。Intel的使命是將AI帶到世界各處,使每個人都能受益,這也是為何Intel不斷地透過精心規劃的平台、安全的解決方案和對開放生態系統的支持,讓AI無所不在。

她認為,人工智慧可以運用到各種不同的情境中,如果想要很輕鬆地使用這些技術,不只是在雲與資料中心環境,更應該把它帶到人在使用的邊緣端,這包含了PC、日常使用的裝置或是物聯網領域的應用。亦即,讓人工智慧可以無縫地從雲到邊緣到PC跨不同裝置部署,也是Intel產品規劃很重要的藍圖方向之一。「許多人總會直接聯想到要透過GPU來實現AI,不過現況是GPU成本昂貴,而且即便具有足夠的預算也不見得可以購買到,Intel認為,並非所有的AI都要應用到雲端上的GPU,因此應該把AI的能力放到CPU中,如此一來,企業便能善用這些資源在他們的工作流程中。」

AI加速能力提升推論效能

在人工智慧領域中,無論是在藥物治療或氣候變遷研究,高效能運算都佔了很重要的角色,不只運算能力要增加,記憶體、頻寬以及互連(Interconnectivity)的能力也要有所提升,第五代Xeon處理器在相同熱設計功耗(TDP)下平均效能也比前一代提升21%,每瓦效能提升36%。在核心數上,第五代Xeon處理器最多可到64核心,LLM快取也是前一代的3倍,每個處理器可提供8個DDR5通道,支援高達每秒5,600MT/s,並透過Intel UPI 2.0增加插槽間的頻寬,提供高達每秒20GT/s速度。

不僅在效率以及效能上有顯著的提升,此款同時也具備更強大的AI能力,每個核心都具備了AI加速功能,在多達200億參數的模型上,可獲得提升42%的推論效能,以及低於100毫秒的延遲。若遵循普遍的五年更新週期,從舊一代系統升級到新一代Xeon處理器的總持有成本可降低達77%。值得留意的是,第五代Xeon處理器的發表時間與第四代僅僅相隔不到一年,由此也不難想見Intel期望將AI運用在企業各式工作負載上的決心與承諾。英特爾資料中心暨人工智慧事業群平台應用工程經理朱宏裕指出,第五代Intel Xeon處理器與前一代產品具有相同的架構設計,已經部署第四代處理器平台的企業可以直接無痛升級,應用到最新的架構。

能源優化模式更節能省電

伴隨著永續課題的發酵,綠色節能也一直是AI運用過程中備受關注的面向,對此第五代Xeon處理器也特別針對耗電進行優化以及更精密的調校,他提到,透過與客戶的訪談以及對應用場景的觀察,多數伺服器並非始終處於高使用率的狀態,過去為了讓處理器一直處於隨時上場的準備狀態,就算處理器的工作負載為零,也要耗費不小的電力,第五代Xeon處理器已針對待機電力進行優化,在不工作的情況下,會以較低的耗電量來保持警戒,此外還提供Optimized Power Mode,只要開啟此項功能,在使用率為30%的狀態下會比預設模式節省約110W左右的電力,即便是到達40%的使用率,也能有66W的電力節省。

Intel在台揭櫫「AI Everywhere」願景,同時也展示超過25款基於第五代Xeon處理器的系統和主機板,展現合作夥伴與台灣產業生態系強大的研發能量。

在此同時,英特爾也宣布Intel Xeon E-2400正式上市。搭載此款處理器的入門級伺服器專為中小企業與裸機雲端託管(Entry-level Bare Metal Cloud Hosting)而設計,其具備伺服器等級的可靠性,高成本效益和可管理性功能,提供高達5.6GHz時脈、支援DDR5和PCIe 5.0,並具備Intel極致渦輪加速技術3.0(Intel Turbo Boost Max Technology 3.0)。

企業應用取決效能與預算平衡

在人工智慧的運用中,特別是針對大型語言模型(LLM)的訓練,AI加速器也是一項重點,已於去年(2023)上市的Intel Gaudi 2可搭配第四代Xeon處理器一同運用,現在也可以繼續搭配第五代Xeon處理器,預計明年也將推出Intel Gaudi 3 AI加速器。

朱宏裕提到,現在討論的AI議題,多半都是聚焦在非常大的模型,參數量動不動就是70B、130B,確實當企業需要執行這麼大型運算的時候,藉助AI加速器的平行運算就有其必要,這與高效能運算(HPC)的應用其實很相似,當企業需要快速大量處理工作負載以進行訓練時,使用GPU就有其好處。

但是,有能力訓練大型模型的企業畢竟還是少數。對於一般使用者而言,AI PC或許已經很夠用,因為AI PC已內建很成熟的AI應用,只需要一部分的資源來專心加速這些已訓練好的AI模型。同樣地,企業應用也是如此,現今有多數企業思考的是,如何將已經訓練好的模型拿來進行進一步的訓練,以運用在農業領域或工廠的管控等等,或是拿來做為推論的應用。

「雖然ChatGPT具有諸多優點,但實務上,部分企業並不放心把公司內部的資料存放到公開的AI模型上去執行,尤其是機密設計資料的疑慮更高,這時企業就可以運用CPU上內建的AI加速器來打造專屬於公司內部的『類ChatGPT』服務。」他提到,雖然企業都想追求最好的效能,但回過頭來還是會考量口袋的深度,而這將會影響到企業最終的應用決策,依據應用場景來選擇適合的方案將會是較好的作法。


追蹤我們Featrue us

本站使用cookie及相關技術分析來改善使用者體驗。瞭解更多

我知道了!