隨著人工智慧技術從雲端向裝置端遷移，Edge AI（邊緣人工智慧）正以驚人速度重塑產業面貌。在台灣Edge AI技術開發與應用交流大會上，來自科技巨頭、研究機構與新創公司的五位專家，從不同角度勾勒出一個共同願景：輕量化模型將成為實現邊緣智慧的關鍵推手。
大會邀請的五位講者雖從不同視角切入，卻呈現出鮮明的共通論點：「小而精」的模型比龐大的雲端模型更適合邊緣運算環境。無論是微軟提出的混合式AI架構、滿拓科技的晶片最佳化技術、資策會的企業導入策略、台達電子的記憶體內運算，還是IBM強調的輕量化模型，均指向同一方向：在有限的算力和能源約束下，打造高效能的邊緣智慧解決方案。
2025年Edge AI技術開發暨應用交流大會，聚焦Edge AI關鍵技術突破與產業應用落地，促進AI從雲端拓展至智慧製造、智慧醫療、智慧城市等終端應用。
邊緣AI之所以重要，不僅在於它能解決雲端AI的網路延遲、隱私保護與能源效率三大問題，更在於它與台灣既有產業優勢的完美契合。台灣在半導體、硬體製造領域擁有世界級實力，而輕量化的邊緣AI正需要專用晶片、最佳化演算法與精密硬體的支持。這種產業互補性，賦予台灣在全球Edge AI競爭中獨特的戰略地位。
本次大會五場專題演講，從混合AI架構、AI模型與晶片開發、企業導入策略、記憶體內運算，以及輕量化模型等面向，全面展現了台灣在Edge AI領域的創新成果與未來發展路徑。這些技術路徑不僅代表了當前產業趨勢，更為台灣科技產業在下一代人工智慧時代指明了前進方向。
從邊緣AI到混合AI的技術大趨勢
台灣微軟首席技術長花凱龍在演講中分享了從邊緣AI到混合AI的發展趨勢。花凱龍同時也是臺灣科技大學資訊工程系教授，具備豐富的學術與產業經驗。
台灣微軟首席技術長花凱龍在演講中強調，在多重代理人的帶領下，從雲端到地端的所有解決方案，整個混合式AI已成為業界關注的焦點。
在探討混合AI架構時，花凱龍強調微軟本身在雲端應用方面擁有較多元的場域，而近期在多重代理人的帶領下，從雲端到地端的所有解決方案，整個混合式AI已成為業界關注的焦點。他從麥肯錫的趨勢報告切入，闡述生成式AI對各產業的深遠影響。辦公室文化正因AI工具而改變，微軟推出了多種Copilot工具，連法務專業人員也開始使用本地方式生成代理人來協助日常工作，展現AI在各領域的實際應用價值。 演講中特別著墨於少子化問題與AI的解決方案。花凱龍指出，在勞動力持續減少的前提下，如何透過更自動化的方式或透過AI賦能來應對這些挑戰，已成為各界高度關注的議題。他深入剖析了ChatGPT的發展歷程，以及Microsoft Copilot PC的最新應用特色，包括Recall功能、Co-Creator以及Studio Effects等。
邊緣AI部署的挑戰與解決之道
滿拓科技執行長吳昕益在大會上分享了邊緣AI部署的現實挑戰與解決方案。吳昕益擁有清華大學資工博士和台灣大學電機碩士學位，在嵌入式系統設計和晶片設計領域擁有豐富經驗，曾完成台灣第一顆硬體NAT加速晶片。
滿拓科技執行長吳昕益認為，邊緣AI部署面臨的四大挑戰：大型模型難以落地、算力限制、計算與記憶體雙重瓶頸，以及軟硬體之間的斷層。
回顧滿拓科技的技術發展歷程，吳昕益提到公司自2018年成立以來一直專注於邊緣運算的部署，從小型電腦視覺落地到小型大語言模型開發的每一步技術演進。他深入分析了邊緣AI部署面臨的四大挑戰：大型模型難以落地、算力限制、計算與記憶體雙重瓶頸，以及軟硬體之間的斷層。針對這些挑戰，滿拓科技開發的專利技術能將運算量和資料量減少90%，同時保持高精準度。
公司核心產品包括DeepLogCore晶片開發方案和DMAI Series系統設計平台，以及全球獨家的「高效自動化AI晶片設計流程」專利技術。在市場應用方面，電信和政府部門走得較快，接下來是金融服務和製造業。滿拓科技的價值在於能夠將整個產業串連起來，從應用到技術形成完整生態系統。
生成式AI的企業導入與評測策略
資策會軟體技術研究院院長蒙以亨分享了「裝置端人工智慧運算與評測」的見解。資策會近年在人工智慧技術研發上投入重大資源，專注於生成式人工智慧的企業導入和人工智慧評測服務兩大核心議題。
資策會軟體技術研究院院長蒙以亨強調，無論何種人工智慧應用，都需要評估其可信度、安全性及合規性。
談及資策會的工作理念，蒙以亨強調幫助需求端快速建立生成式人工智慧應用，同時引入供給端的解決方案，讓各方能從零到一，再從一快速複製到多的重要性。在演講中，他特別著重資策會扮演橋樑角色，促進整個產業生態系統的發展，而非與民爭利的定位。蒙以亨指出，無論何種人工智慧應用，都需要評估其可信度、安全性及合規性。
企業導入人工智慧面臨多種痛點：效益難以計算、資源分配問題、算力需求估算困難等。資策會能協助廠商以最經濟的成本規劃適合的資源配置。根據調查，台灣已有54.2%企業導入生成式人工智慧，比前年大幅成長。資策會開發的生成式AI應用快製平台，能協助企業完成從評估、測試到營運的全程導入，提供完整解決方案。
記憶體內運算：邊緣AI的能源效率革命
台達電子技術長暨台灣大學資訊工程學系特聘教授郭大維，分享了記憶體內運算作為邊緣人工智慧新架構的前瞻觀點。
台達電子技術長暨台灣大學資訊工程學系特聘教授郭大維提出「記憶體內運算」作為解決方案，將資料處理直接在記憶體內完成。
郭大維回顧了AI領域近三年重大發展，從ChatGPT到ChatGPT-4，再到Sora等影像生成技術和LLAMA 3.2等輕量化模型，這些技術進展預示了邊緣AI的巨大潛力。邊緣人工智慧市場預計到2031年市值將超過1400億美元，消費電子、製造業、汽車工業和醫療保健等台灣擅長的產業正快速成長。
邊緣AI興起源於兩個關鍵因素：5G、6G時代產生的巨量數據無法全部傳至雲端，以及多種應用對即時性的嚴格要求。然而，發展邊緣AI的根本挑戰在於能源消耗。郭大維剖析了馮紐曼架構的局限：這種沿用90多年的架構需在記憶體和處理器間不斷移動資料，造成「記憶體牆」問題，導致能源效率低下。現今僅需兩個750兆瓦的AI數據中心就要一座核電廠供電，而邊緣裝置更無法承載耗電的大型處理器。
針對此挑戰，業界提出「記憶體內運算」的新設計架構。郭大維指出，這種架構將資料處理直接在記憶體內完成，將神經網路映射到記憶體晶片上，每個記憶體單元同時作為計算單元，消除資料搬移需求，大幅降低能耗並實現平行運算，能效比可較傳統處理器提升數十倍。
記憶體內運算適合多種應用：感測器數據可直接在記憶體中處理；安全系統可即時處理識別信號；工業環境可監測危險區域。相較於嵌入式系統，記憶體內運算可能僅是專用晶片加少量輔助硬體，代表邊緣運算的「最前緣」，專為特定任務優化。
展望未來，記憶體內運算將改變傳統資料處理方式，在產生地直接處理資料，提高即時性和隱私保護，為下一代AI應用提供高效節能的解決方案，對能源受限的邊緣場景具革命性意義。
實現邊緣AI的關鍵考量
IBM AI技術顧問許瑞萍分享了從企業導入第一線的實務經驗。許瑞萍以實戰角度剖析企業客戶在AI導入過程中面臨的挑戰與輕量化模型的優勢。
IBM技術顧問許瑞萍建議企業應先建立完整的AI治理框架，從上到下組建AI治理委員會，明確運用範圍、責任分工和可用資料。
從企業實際需求出發，許瑞萍指出相較於需要2-4張A100或H100 GPU的70億參數模型，有些輕量化模型甚至不需要GPU就能執行，大幅降低企業導入AI的門檻。根據IBM從2022年至2025年的觀察，企業對AI的態度已從評估、認識階段發展到開始進行概念驗證，探索具體應用場景。
企業導入AI面臨的主要挑戰包括資料品質問題和人才短缺。根據麥肯錫報告，真正成熟落地AI的企業僅佔1%。大多數企業仍處於概念驗證或單點試驗階段，擴展時常遇到系統整合和資料問題。
在Edge AI領域，輕量化模型能部署在終端設備上，降低延遲、提高隱私保護，且更專注於特定任務。這種「小而精」的模型正好符合企業對特定場景的需求。IBM透過知識蒸餾等技術最佳化模型，協助企業建立更貼近其需求的AI系統。
許瑞萍特別強調AI治理的重要性，指出企業常先詢問使用什麼模型，而不是先確定使用情境，這是本末倒置的做法。她建議企業應先建立完整的AI治理框架，從上到下組建AI治理委員會，明確運用範圍、責任分工和可用資料。IBM從評估、建置到維護的全程服務，能協助企業從小型驗證逐步擴展到全面應用，兼顧Edge AI和雲端發展。
台灣在邊緣AI產業鏈的關鍵定位
台灣Edge AI技術開發與應用交流大會的五場專題演講，從不同角度揭示了邊緣AI的發展現況與未來趨勢。從微軟的混合AI架構、滿拓科技的模型晶片最佳化技術、資策會的企業導入策略、台達電子的記憶體內運算革新，到IBM的邊緣AI應用實務經驗，共同勾勒出台灣在全球邊緣AI產業鏈中的關鍵定位。
隨著AI技術從雲端延伸至邊緣裝置，台灣憑藉在半導體、硬體製造的優勢，有機會在這波技術浪潮中扮演舉足輕重的角色。從晶片設計、演算法最佳化、系統整合到應用開發，台灣擁有完整的產業鏈優勢。特別是在低功耗、高效能的Edge AI晶片開發方面，台灣廠商已展現獨特的技術實力。
未來，隨著算力提升、能源效率改善和商業模式成熟，邊緣AI將從實驗室走向市場，成為台灣科技產業新的成長引擎。透過產官學研合作，建立從晶片到應用的完整生態系，台灣有望在全球邊緣AI市場中佔據一席之地，為產業升級和經濟發展注入新動能。