IBM日前發表其最新一代企業級「小語言模型」Granite 4.0，以創新的混合式架構，結合Mamba-2與Transformer技術，實現前所未有的效能與效率。Granite 4.0不僅大幅降低記憶體與硬體成本，更提供企業部署的安全性、可控性與彈性，為台灣各類型企業的應用落地提供強力支援。
Granite 4.0已在IBM watsonx.ai平台正式上線，並同步支援Dell Technologies（Dell Pro AI Studio與Enterprise Hub）、Docker Hub、Hugging Face、Kaggle、LM Studio、NVIDIA NIM、Ollama、OPAQUE及Replicate等平台；未來也將支援Amazon SageMaker JumpStart與Microsoft Azure AI Foundry。
Granite 4.0採用創新的Mamba/Transformer混合架構，突破傳統Transformer模型處理長文本的效能瓶頸。Mamba架構可線性擴展上下文長度，讓Granite 4.0在處理複雜任務時，大幅減少記憶體的使用量達70%，推理速度卻加快2倍，同時支援更平價的GPU包括家用硬體。這項突破對台灣中小企業與開發者意味著高效能不再是高成本的同義詞，而是人人可及的技術資源。
Granite 4.0提供多種模型規格，靈活應對不同場景：
- Granite-4.0-H-Small：總參數量32B的混合式專家模型，活躍參數9B，適合客服自動化、多工具代理任務。
- Granite-4.0-H-Tiny：總參數量7B的混合式專家模型，活躍參數1B，適合邊緣運算與地端部署。
- Granite-4.0-H-Micro：總參數量3B的混合式模型，快速執行關鍵任務。
- Granite-4.0-Micro：傳統Transformer架構，適用於尚未支援混合架構的平台。
Granite 4.0所有模型皆提供Base與Instruct版本；並預計於2025年底推出強化邏輯推理的Thinking 模型。
Granite 4.0模型雖然尺寸精簡，但在多項基準測試中的表現，超越同級與其他大型開源模型：
- 在Stanford IFEval指令遵循測試中，Granite-4.0-H-Small表現優於所有開源模型（除Llama 4 Maverick外）。
- 在Berkeley Function Calling Leaderboard v3中，Granite-4.0-H-Small以更低成本達到與大型模型相同的工具調用準確率。
- 在MTRAG多輪檢索增強生成測試中亦有亮眼表現。
上述成果歸功於IBM全面升級了模型架構、訓練方法與資料品質，包含使用一個精心編製、聚焦於企業應用的22兆字元規模的語料庫。Granite 4.0的預訓練資料涵蓋多元來源，包括DataComp-LM（DCLM）、GneissWeb、TxT360子集、Wikipedia以及其他與企業場景高度相關的資料來源。為了增強模型處理企業任務的表現，這些模型經過後訓練（post-training），涵蓋語言理解、程式碼生成、數學推理、多語言處理、安全性、工具調用（tool calling）、檢索增強生成（RAG）與資安等多個領域，並結合合成資料與開放資料集進行優化。
Granite 4.0是全球第一個獲得ISO/IEC 42001:2023 AI管理系統認證的開源模型家族，展現IBM對安全與負責任治理的高度承諾：
- 所有模型皆經過加密簽章，確保來源與完整性。
- 訓練資料皆經過倫理審查與企業授權。
- 若在watsonx.ai平台使用Granite模型，IBM提供無上限第三方IP賠償保障。
此外，IBM與HackerOne共同宣布「找尋Granite漏洞」獎勵計畫，最高獎金達美金十萬元，鼓勵開發社群共同提升安全。
Granite 4.0支援多種硬體與推理框架，讓台灣企業與開發者可快速整合至現有系統：
- 支援AMD Instinct MI-300X GPU與Qualcomm Hexagon NPU，適用於行動與邊緣設備。
- 相容於vLLM、llama.cpp、MLX、NexaML等主流推理框架。
- 可透過Unsloth進行微調，並整合至Continue等開發者工具。
開發者可在Granite Playground試用Granite 4.0，並參考Granite Docs中的RAG、摘要、自動化教學資源。
IBM將繼續擴展Granite 4.0模型家族，將推出：
- 更小型的Medium與Nano模型，強化邊緣AI部署能力。
- 強化邏輯推理的Thinking模型，支援複雜決策與分析任務。
- 持續優化架構與平台支援，推動普及化與在地化。
IBM推出Granite 4.0，持續倡議與實現開放、安全、高效的企業級AI，協助全球企業在數位轉型旅程中穩健前行。Granite 4.0模型已在IBM watsonx.ai平台開放使用，並採用Apache 2.0開源授權。