Gemma 3 270M

Gemma 3 270M是谷歌於2025年8月發布的開源輕量級語言模型，屬於Gemma 3系列，參數規模為2.7億。其INT4量化後RAM需求約240MB，其中嵌入參數1.7億個，Transformer模組參數1億個。

該模型在IFEval基準測試中取得了一定成績，具備指令遵循能力。其INT4量化版本在Pixel 9 Pro手機上運行25輪對話僅消耗約0.75%電量，適用於端側部署與特定任務微調。

基本介紹

• 外文名：Gemma 3 270M
• 發布方：谷歌

模型簡介

Gemma 3270M是谷歌發布的Gemma 3系列中的輕量級模型。該模型擁有2.7億參數，其中嵌入參數1.7億個，Transformer模組參數1億個。

它專為特定任務的微調而設計，具備強大的指令跟蹤和文本結構化能力。該模型是創建一系列小型專業模型的理想起點，旨在為定義明確的任務釋放更高的效率。

核心技術

Gemma 3 270M是一款緊湊型、擁有2.7億個參數的小體量語言模型，專為特定任務的微調而設計，具備強大的指令跟蹤和文本結構化能力。

模型架構

該模型共有2.7億參數，其中嵌入參數有1.7億個，Transformer模組則有1億個。新模型只有4個注意力頭。

辭彙表

得益於256k個token的龐大辭彙量，該模型可以處理特定和罕見的token。

量化與能效

量化感知訓練 (QAT) 檢查點可用，使人們能夠以 INT4 精度運行模型，同時最大程度地減少性能下降。在Pixel 9 Pro手機SoC 上進行的內部測試表明，INT4 量化模型在 25 次對話中僅消耗 0.75% 的電量。

訓練背景

270M 模型使用了 6 萬億個令牌進行訓練，訓練數據的知識截止日期為 2024 年 8 月。Gemma使用Tensor Processing Unit(TPU) 硬體(TPUv4p、TPUv5p 和 TPUv5e)進行訓練，訓練使用JAX和ML Pathways 完成。

產品優勢

該模型具有較高的能效，在一項測試中，於Pixel 9 Pro手機上完成25次對話消耗約0.75%的電量。經INT4量化後，該模型可在計算資源有限的設備上運行。

模型具備指令遵循能力。谷歌發布了經過指令調整的模型及預訓練檢查點，使其能夠處理通用指令。模型提供了量化感知訓練檢查點，支持以INT4精度運行，旨在減少性能損失，便於在資源受限的設備上部署。其較小的模型體積有助於進行快速的微調實驗，可在較短時間內完成配置最佳化。

在IFEval基準測試中，Gemma 3 270M模型取得了較高的評分，其指令跟隨能力表現優於部分同規模級別的模型。

獲取與使用

谷歌發布了Gemma 3 270M的預訓練模型及指令調優模型，開發者可通過Hugging Face、Ollama、Kaggle、LM Studio或Docker等平台獲取該模型。

開發者可在谷歌的Vertex AI平台上試用模型，或使用llama.cpp、Gemma.cpp、LiteRT、Keras和MLX等推理工具進行測試體驗。

谷歌在Gemma文檔中提供了使用Gemma 3 270M進行完整微調的指南，開發者可使用Hugging Face、UnSloth、JAX等工具進行個性化微調，在Colab上完成一次微調嘗試通常只需不到5分鐘。

微調後的模型可以部署到本地環境（如個人電腦、手機、樹莓派等設備端）或Google Cloud Run等雲平台。

重要事件

2025年8月15日，谷歌正式發布開源輕量級大語言模型Gemma 3 270M。

過去幾個月，谷歌的Gemma開放模型系列經歷了一系列發布，在4月到5月推出了Gemma 3和Gemma 3 QAT，隨後在6月25日發布了面向移動端的Gemma 3n。

截止上周，Gemma系列的累積下載量已經突破了兩億次。