越來越多的企業開始運用邊緣運算與人工智慧技術，藉由分析邊緣設備收集而來的資料取得創新洞察，以進一步改善營運。而這股需求也推升了邊緣AI的市場發展，根據Market Research Future預估，全球邊緣AI硬體市場將從2023年的26.86億美元成長到2023年的159.88億美元，年複合成長率達21.92%。
近幾年，在行動運算與物聯網（IoT）爆炸增長、5G/B5G網路的快速發展以及對即時數據處理需求與隱私安全的考量之下，越來越多的企業開始運用邊緣運算與人工智慧技術，藉由分析邊緣設備收集而來的資料取得創新洞察，以進一步改善營運。
而這股需求也推升了邊緣AI的市場發展，根據MarketsandMarkets調查，全球邊緣AI軟體市場預計將從2023年11億美元成長到2028年41億美元；而AI硬體市場也不遑多讓，該市調預估全球邊緣AI硬體市場將從2023年的26.86億美元成長到2023年的159.88億美元，年複合成長率達21.92%。
從字義上來看，「邊緣AI」可簡單解釋為邊緣運算與人工智慧的結合。根據IBM在官網上的定義，邊緣AI指的是將AI演算法以及AI模型直接部署在感測器或物聯網設備等本地邊緣設備上，無需依賴雲端基礎設備即可實現即時資料處理與分析。包含自駕車、穿戴式裝置、安全攝影機和智慧家電等都已利用邊緣AI，以便在重要時刻向使用者及時提供資訊。
資策會MIC產業顧問兼副主任施柏榮觀察，在台灣，除了像台積電或是大型工廠現場有可能在邊緣端進行資料「訓練」之外，大部分邊緣AI其實都是在邊緣端執行AI的「推論」。原因即在於，資料訓練需要有足夠的算力，相對於邊緣，雲端反而是更好的選擇，「即使是受到醫療資料法規限制的醫療產業，實務上也很難在地端訓練醫療資料，一方面，醫療院所需要足夠多的GPU資源才能訓練龐大的醫療資料，除了成本考量之外，最大的問題還是在缺乏足夠的人力以及資源去維護大型的資料中心，而且還只單純為了醫療影像辨識。」
在一般的操作情境下，邊緣AI指的應該都是在邊緣端執行推論，而多數的應用情況都是在邊緣進行圖像或音訊資料的辨識與辨別。「不過，自從生成式AI出現後，邊緣AI不再只限於對聲音、圖像進行辨識，反而更多是在做知識的創建或是採集，讓生成式AI重新去產生資料，」施柏榮提到，因此目前也有人提出更簡單的邊緣AI分類法，一是常見的聲音、圖像進行辨識應用，而另一則是在Edge端生產資訊，或是整合資料、知識體系。「而這是從架構、應用場景分類之外，另一個在未來更有趣的分類法。」
擬定明確AI業務戰略目標
邊緣AI涵蓋的範圍相當廣泛，可應用的場景也遍布各個產業，例如在製造業中，Edge AI可以用於工廠或製造廠房的即時監控、預測性維護或是品質控制；在醫療產業，可應用在醫療影像判讀、早期疾病檢測或是遠距醫療。
另外也能應用於智慧城市的交通管理、視訊監控或是零售產業的客戶行為追蹤、優化購物體驗；而在自駕車的應用上，也可以加速物聯網網路外圍的資料處理速度，從而優化網路流量，以大幅減少延遲並提高整體系統效率。
台灣戴爾科技集團技術副總經理梁匯華指出，邊緣AI的設備依據邊緣所在的位置，如近邊緣（Near Edge）或是遠邊緣（Far Edge），其所需的運算能力會有所差異，理論上位於越遠端，環境就越艱難，運算力需求也越小，一般而言，初階或終端的使用者想要運用生成式AI，那麼AI PC本身具備的運算效能即可滿足，微軟要求AI PC算力基礎為40 TOPS（Trillion Operations Per Second）。若是打算進行更進階的AI開發或是較大模型推論，那麼AI開發者則可選擇AI工作站，如果需要GPU來進行相關的運算，那麼就得選擇伺服器來實現。
「然而，企業在導入任何解決方案之前，首要還是得先有明確的AI業務戰略目標」，他提到，AI全生命週期有五部曲，第一步即是確認到底AI在企業中擔任何種角色，以及打算在哪些層面應用。其次是準備訓練AI的資料，訓練資料的數量和品質，將會決定AI演算法規模的上限。接下來的第三、第四以及第五個步驟才會是模型的預訓練、微調以及推論。「從第三到第五個步驟會是一個循環，即便企業已經開始在邊緣進行推論，所有的回饋還是會再回來進行增強學習（Reinforcement Learning），增強學習後的資料又會進行微調或是重新訓練模型。」
與現有IT系統整合具挑戰
想要釋放邊緣AI的力量，除了要有硬體設備提供足夠運算力之外，軟體以及生態系夥伴的協助也非常重要。在MarketsandMarkets的調查報告中便提到，複雜度與成本，還有異質系統的整合，都是企業在部署邊緣AI過程中會面臨的挑戰。
即便是邊緣AI，仍需要特定的硬體及軟體基礎架構才能部署與運行，不僅架構較複雜，所需的成本也會相對高昂，特別是對中小型企業而言，更是一項挑戰。一方面，目前仍缺乏部署邊緣AI軟體的標準化工具和框架，而這可能導致管理和擴展部署變得困難。另一方面，部分的邊緣AI軟體對運算要求很高，可能需要運用到GPU和FPGA等專用硬體，對於沒有這類IT基礎設備的企業而言，也會帶來不小壓力。
此外，將邊緣AI與現有IT系統進行整合也是一項複雜且具挑戰性的任務，相較於集中化且對安全與隱私已經採取更嚴格控制的IT系統，邊緣AI通常會是異質環境，資料也各自儲存，在此情況下，更須考量安全以及隱私問題，企業採用的困難度也會提升。
「因此，大猩猩科技雖然是一家邊緣AI軟體服務的供應商，但也與硬體方案供應商合作，整合加速晶片、物聯網裝置、IPC設備，甚至還提供網路安全方案，目的就是希望提供給企業端到端的解決方案，以減輕企業部署的複雜度。」大猩猩科技商業成長副總江奕璁分享，邊緣AI有許多施行的細節，特別是在OT層面，而且不同的垂直領域，要求也都不同。舉例而言，光是路口監視系統的攝影機的角度與架設高度以及採用何種等級的鏡頭，就會影響到監控的視野，進一步影響到影像辨識以及AI分析的結果；又如現今的智慧停車場已可以做到出入口閘門自動通行、車牌自動辨識與自動繳費等多項系統，有些停車場會結合eTag，而RFID的eTag編號如何與車牌號碼自動的對應與轉換，就需要進行資料整合的工夫。
他提到，OT的資安也蔚為重要。物聯網的安全風險可能來自於網路、設備，甚至是存取的帳號密碼，更須要從不同面向去考慮。例如可以用誘捕的方式，透過模擬物聯網裝置或是NVR、DVR設備，讓駭客誤以為找對地方開始攻擊；或是透過AI來分析可疑的行為，這些方式都能為邊緣AI提供更全面的保護。