AWS宣布,Meta發布的兩款Llama 3基礎模型Llama 3 8B和Llama 3 70B現已在Amazon SageMaker JumpStart中提供。這兩款模型的上下文長度(Context Length)為8k,能夠支持廣泛的應用案例,並在推論、程式碼生成和指令跟隨等方面有所改進。客戶可以在Amazon SageMaker JumpStart中輕鬆部署Llama 3基礎模型,並運行推論。
Llama 3提供8B和70B兩種參數大小的模型,上下文長度為8k,能夠支持廣泛的應用。Llama 3使用了僅含解碼器的Transformer架構,以及高達128k規模的新型分詞器,極大提升了模型的效能。此外,Meta改進的訓練後處理常式大幅降低了誤拒率,提高了模型回應的一致性和多樣性。
Amazon SageMaker JumpStart提供預訓練的模型、內置演算法和預建構的解決方案,幫助客戶快速開始機器學習專案。Amazon SageMaker JumpStart能夠幫助客戶從廣泛的公開可用基礎模型中進行選擇,並將基礎模型部署到專用的SageMaker實例中,這些實例位於網路隔離的環境,並可以使用SageMaker進行模型訓練和部署。
客戶現在可以在Amazon SageMaker Studio中透過點擊或透過SageMaker Python SDK程式設計方式部署Llama 3模型,還可以利用SageMaker Pipelines、SageMaker Debugger或容器日誌等功能,提升模型效能並實施MLOps控制。此外,該方式部署的模型始終處在AWS的安全環境下,由客戶的VPC(Virtual Private Cloud)控制,以確保資料安全。
Meta Llama 3基礎模型現已在Amazon SageMaker Studio的美東(北維吉尼亞州)、美東(俄亥俄州)、美西(奧勒岡州)、歐洲(愛爾蘭)和亞太(東京)區域提供部署和推論服務。