本周四，谷歌正式發(fā)布了 Gemma 3 的最新一款模型。

Gemma 3 270M 是一款緊湊型、擁有 2.7 億個參數(shù)的小體量語言模型，專為特定任務的微調(diào)而設計，具備強大的指令跟蹤和文本結構化能力。

它繼承了 Gemma 3 系列的先進架構和強大的預訓練功能，同時為小尺寸模型帶來了強大的指令執(zhí)行能力。谷歌展示的 IFEval 基準測試成績所示，在同級模型上，Gemma 3 270M 樹立了新的性能水平，使復雜的 AI 功能更容易應用于設備端和研究應用。

IFEval 旨在測試模型執(zhí)行可驗證指令的能力。

Gemma 3 270M 的核心功能主要包括如下幾個方面：

• 緊湊而強大的架構：新模型共有 2.7 億參數(shù)：由于詞匯量龐大，嵌入?yún)?shù)有 1.7 億個，Transformer 模塊則有 1 億個。得益于 256k 個 token 的龐大詞匯量，該模型可以處理特定和罕見的 token，使其成為強大的基礎模型，可以在特定領域和語言中進一步進行微調(diào)。
• 極致節(jié)能：Gemma 3 270M 的一個關鍵優(yōu)勢是其低功耗。在 Pixel 9 Pro 手機 SoC 上進行的內(nèi)部測試表明，INT4 量化模型在 25 次對話中僅消耗 0.75% 的電量，使其成為最節(jié)能的 Gemma 模型。
• 指令遵循：谷歌發(fā)布了一個指令調(diào)整模型，并附帶預訓練的檢查點。雖然該模型并非為復雜的對話用例而設計，但它是一個強大的模型，可以開箱即用地遵循通用指令。
• 可用于生產(chǎn)的量化：量化感知訓練 (QAT) 檢查點可用，使人們能夠以 INT4 精度運行模型，同時最大程度地減少性能下降，這對于在資源受限的設備上部署至關重要。

對于 1.7 億個嵌入?yún)?shù)，如何在訓練過程中保證不出現(xiàn)嵌入崩潰，谷歌并沒有對技術細節(jié)進行太多解釋。不過在谷歌發(fā)布后，AI 社區(qū)很快開始了研究。

Sebastian Raschka 第一時間進行了簡單的解讀，他注意到了新模型的一些架構特點。

谷歌表示，Gemma 3 270M 是一款高質(zhì)量的基礎模型，開箱即用，適用于專業(yè)化的任務。在實踐中，人們應從緊湊而強大的模型入手，進而構建出精簡、快速且運營成本較低的生產(chǎn)系統(tǒng)。

這種思路已在現(xiàn)實世界中取得了很好的成果。谷歌舉了 Adaptive ML 與 SK Telecom 合作的成果的例子。面對細致入微的多語言內(nèi)容審核挑戰(zhàn)，他們選擇了專業(yè)化。Adaptive ML 沒有使用大規(guī)模通用模型，而是對 Gemma 3 4B 模型進行了微調(diào)。從結果上看，專業(yè)化的 Gemma 模型達到甚至超越了更大型專有模型在其特定任務上的表現(xiàn)。

Gemma 3 270M 旨在讓開發(fā)者更進一步利用這種方法，為定義明確的任務釋放更高的效率。它是創(chuàng)建一系列小型專業(yè)模型的理想起點，每個模型都是各自任務的專家。

這種專業(yè)化的力量不僅適用于企業(yè)任務，還能幫助個人開發(fā)者構建創(chuàng)意應用程序。例如，Hugging Face 團隊的成員使用 Gemma 3 270M 為一款使用 Transformers.js 的睡前故事生成器網(wǎng)頁應用提供支持。可知，該模型的體量和性能使其非常適合離線、基于網(wǎng)頁的創(chuàng)意任務。

谷歌表示，Gemma 3 270M 適用于以下場景：

• 有一個高容量且定義明確的任務。該模型非常適合情緒分析、實體提取、查詢路由、非結構化到結構化文本處理、創(chuàng)意寫作和合規(guī)性檢查等功能。
• 需要精打細算，時延要求高的任務。它可以大幅降低甚至消除生產(chǎn)中的推理成本，并更快地為用戶提供響應。經(jīng)過微調(diào)的 270M 模型可以在輕量級的基礎架構上運行，也可以直接在設備上運行。
• 需要快速迭代和部署的工作。Gemma 3 270M 的小巧體積使其能夠快速進行微調(diào)實驗，幫助你在數(shù)小時內(nèi)（而不是數(shù)天）找到適合您用例的完美配置。
• 需要確保用戶隱私的任務。由于該模型可以完全在設備上運行，你可以構建處理敏感信息的應用程序，而無需將數(shù)據(jù)發(fā)送到云端。
• 你需要一批專門的任務模型。構建并部署多個自定義模型，每個模型都經(jīng)過專業(yè)訓練，能夠完成不同的任務，而且不會超出預算。
• 在新模型上，谷歌提供了快速入門的方案和工具。你可以在 Gemma 文檔中找到使用 Gemma 3 270M 進行完整微調(diào)的指南：https://ai.google.dev/gemma/docs/core/huggingface_text_full_finetune
• 谷歌同時發(fā)布了 Gemma 3 270M 的預訓練模型和指令調(diào)優(yōu)模型：https://huggingface.co/collections/google/gemma-3-release-67c6c6f89c4f76621268bb6d
• 你可以在 Vertex AI 上試用模型，或使用 llama.cpp、Gemma.cpp、LiteRT、Keras 和 MLX 等熱門推理工具進行試用：https://console.cloud.google.com/vertex-ai/publishers/google/model-garden/gemma3

現(xiàn)在，你也可以在 Colab 上嘗試自行嘗試微調(diào)，只需不到 5 分鐘即可完成。

過去幾個月，谷歌的 Gemma 開放模型系列經(jīng)歷了一系列發(fā)布。在 4 月到 5 月，谷歌推出了 Gemma 3 和 Gemma 3 QAT，為單云和桌面級 GPU 提供了不錯的 AI 性能。隨后在 6 月 25 日，面向移動端的 Gemma 3n 正式發(fā)布，為手機等設備引入了強大的實時多模態(tài) AI 能力。

谷歌表示，截止上周，Gemma 系列的累積下載量已經(jīng)突破了兩億次。