實體人工智慧(Physical AI)逐步進入無人機、機器人、機器視覺與工業自動化等實體系統,部署條件也隨之改變。SiMa.ai策略銷售副總裁Liran Bar表示,台灣在其全球布局中扮演技術與商業生態的重要節點,原因在於半導體製造、系統模組(System-on-Module,SoM)、載板、嵌入式平台、工業電腦(IPC)、攝影機、感測器、機器視覺、機器人與完整系統製造能力高度集中。
對邊緣AI業者而言,這種產業密度有利於把晶片與軟體整合成可量產的實體AI平台,也讓台灣具備承接全球市場需求的條件。
Bar指出,實體AI的關鍵,在於機器必須直接感知環境、理解事件、做出判斷並執行動作,因此單看每秒兆次運算(TOPS)不足以評估平台是否適合實際部署。無人機、機器人與攝影機同時受限於電力、散熱、尺寸、重量與成本,真正需要衡量的是有限功耗內能提供多少可用AI效能。他以約15W功耗範圍說明產品設計思維,實際數值仍依產品與應用組態而異。當AI必須長時間留在載具端工作,效能功耗比(Performance-per-Watt)會直接影響續航、散熱與可靠度,也牽動產品能否進入量產。
效能功耗比決定邊緣部署可行性
為降低邊緣AI導入複雜度,Bar表示,SiMa.ai採取軟體優先(Software-First)設計,以機器學習系統單晶片(Machine Learning System-on-Chip,MLSoC)搭配Palette軟體平台,讓既有模型經過量化、最佳化、編譯與應用整合後部署至邊緣設備。Palette Neat進一步導入代理式開發環境,目的在於縮短模型與應用程式整合所需的工程時間。對既有嵌入式系統業者而言,另一項考量是硬體替換成本,Modalix SoM採用可與既有Jetson Orin NX與Nano載板接腳相容的設計,讓業者評估替代平台時,可降低重新設計載板的幅度。
這類架構在工業巡檢與無人載具應用上特別容易看見價值。Bar舉例,攝影機可先透過光學變焦鎖定移動目標,當目標超出鏡頭可追蹤範圍時,再由載具本身調整位置跟隨,避免一開始就持續移動造成額外耗電。這項能力若應用於大型廠區、能源設施或戶外設備巡檢,可讓載具依現場情況調整觀察位置,在有限電力條件下延長實際作業時間。
另一項應用案例則是利用視覺語言模型(Vision-Language Model,VLM)進行區域搜尋。操作人員可指定區域與自然語言條件,例如尋找戴帽子且站在卡車旁的人員,系統持續掃描影像並逐格理解場景,找到符合條件的目標後,再把結果交回控制端。這代表搜尋邏輯可由預先定義的物件類別,延伸至具語意條件的事件描述。
自主系統的技術重點已由單純物件偵測延伸至事件理解。底層需處理物件偵測(Object Detection)、分類(Classification)、追蹤(Tracking)與重新識別(Re-identification,Re-ID),其上再加入世界模型(World Model),利用連續影格理解人物、物件、環境與行動關係,接著形成認知場景理解(Cognitive Scene Understanding),才有能力判斷後續動作。若目標短暫遭其他物件遮蔽,系統也可利用物件語意重新尋找原先目標,降低只依賴像素特徵造成的追蹤漂移。
自主化關鍵在事件理解與多代理協作
Bar認為,當無人機與機器人進入大型場域,真正的管理瓶頸之一是操作人力。工業巡檢、倉儲管理、大型設施維護或災害現場資訊蒐集若同時部署多個載具,仍要求一名操作人員逐一控制每個平台,規模很快就會受到限制,因此系統需要朝一對多(One-to-Many)操作與多代理(Multi-Agent)協作發展。
整體自主能力區分為感知、世界模型、認知理解、動作與協作等層次,每個代理先在本地完成必要判斷,再交換事件、狀態與任務等濃縮資訊,避免大量傳送原始高解析影像。這種知識交換方式可以降低頻寬需求,也讓操作人員把注意力集中在例外事件與真正需要人工決策的情況。
邊緣端自主化也必須考慮網路條件。Bar表示,關鍵推論若高度依賴雲端,遇到通訊品質不穩或連線中斷時,載具可能失去即時判斷能力,因此定位、偵測、追蹤、分類與部分推理應盡可能在本地完成。缺乏全球衛星定位系統環境(GPS-denied Environment)可利用即時攝影機影像與既有地圖或參考影像比對,持續估算位置與移動路徑。這類工作必須與其他AI任務同步進行,也突顯邊緣運算平台在功耗、記憶體頻寬與異質運算資源配置上的重要性。
台灣角色延伸至系統整合與量產
Bar指出,台灣的價值鏈優勢使合作範圍涵蓋晶片製造、SoM、載板、嵌入式平台、IPC、攝影機、感測器、散熱與整機設計。
SiMa.ai希望與台灣ODM、OEM、機器視覺、機器人、無人機、軟體與系統整合業者合作,讓MLSoC與軟體平台成為產品設計的一部分。合作過程會經歷評估、概念驗證(PoC)、軟硬體整合、驗證與量產,核心目標是降低產品化過程中的整合成本與開發風險。
完成PoC後,開發團隊需要建立資料管線,透過軟體在迴路(Software-in-the-Loop,SIL)與硬體在迴路(Hardware-in-the-Loop,HIL)測試持續驗證模型與硬體,最後再進行端到端與現地測試。若實際資料不足,還可利用合成資料(Synthetic Data)與數位孿生(Digital Twin)補足特定場景,再將現地資料回饋模型訓練。這代表邊緣AI產品化同時涉及模型、資料、硬體、韌體、感測器與系統驗證,能否建立反覆驗證與快速修正的流程更為關鍵。對台灣業者而言,當邊緣端逐步具備感知、理解、推理與協作能力,競爭焦點也將落在誰能以更低系統整合成本,將AI能力穩定嵌入實際設備並支援規模部署。
