AMD-Llama-135m是AMD公司於2024年9月29日通過Huggingface平台發布的首個小語言模型，採用Apache 2.0開源許可協定，擁有6700億個token。該模型基於LLaMA2架構，使用SlimPajama和Project Gutenberg數據集進行預訓練，並具備推測解碼功能以減少記憶體占用，其推測解碼的基本原理是使用小型草稿模型生成一組候選token，然後由更大的目標模型進行驗證，從而減少RAM占用並提高處理效率。
該模型在四個AMD Instinct MI250節點上進行了六天的基礎訓練，其編程專用變體AMD-Llama-135m-code額外經過四天代碼數據微調。AMD開源了該模型的訓練代碼、數據集和權重檔案，支持開發者在AMD GPU加速器和Ryzen AI處理器上部署端到端訓練推理流程，該模型能夠在AMD MI250 GPU上流暢載入使用，支持文本與代碼生成。
基本介紹
- 中文名：AMD-Llama-135m
- 類型：小語言模型
簡介,技術特點,訓練與部署,衍生版本,發展歷程,訪問情況,
簡介
AMD-Llama-135m是AMD公司於2024年9月29日通過Huggingface平台發布的首款小語言模型，基於LLaMA2模型架構。
AMD-Llama-135m模型具有推測解碼功能，擁有 6700 億個 token，採用 Apache 2.0 開源許可。該模型在四個AMD Instinct MI250節點上訓練了六天，並推出了適用於編程任務的變體AMD-Llama-135m-code。
技術特點
AMD-Llama-135m是一個基於LLaMA2模型架構訓練的語言模型，能夠在AMD MI250 GPU上流暢載入使用，支持文本和代碼，適用於多種自然語言處理任務。
該模型具備推測解碼功能，其基本原理是使用小型草稿模型生成一組候選token，然後由更大的目標模型進行驗證，允許每次前向傳遞生成多個token，在不影響性能的前提下減少RAM占用並提升效率。
AMD-Llama-135m在四個AMD Instinct MI250節點上訓練了六天，其編程專用版本變體AMD-Llama-135m-code則額外耗費了四天時間進行微調。
訓練與部署
該模型在四個AMD Instinct MI250節點上訓練了六天，其編程專用變體AMD-Llama-135m-code則額外經過了四天針對代碼數據的微調訓練。該模型能夠在AMD MI250 GPU上流暢載入使用。AMD已將該模型的訓練代碼、數據集和權重檔案開源，支持開發者在AMD GPU加速器和Ryzen AI處理器上部署端到端的訓練與推理流程。
衍生版本
AMD在發布基礎模型的同時推出了編程專用變體模型AMD-Llama-135m-code，該版本額外耗費了四天時間進行微調訓練以更好地適應編程任務。
發展歷程
2024年9月29日訊息，AMD在Huggingface平台公布了自家首款“小語言模型”AMD-Llama-135m。該模型具有推測解碼功能，擁有6700億個token，採用Apache 2.0開源許可，在四個AMD Instinct MI250節點上訓練了六天，其編程專用版本變體AMD-Llama-135m-code額外微調四天。截至2026年1月，AMD-Llama-135m月總訪問量達25633376。
訪問情況
AMD-Llama-135m模型頁面月總訪問量為25633376，跳出率為44.05%，平均頁面訪問數為5.8，平均訪問時長為4分53秒，同時該模型有訪問量趨勢、地理位置分布和流量來源數據。
