Gemma 3是谷歌新推出的最先進(jìn)多模態(tài)（文本+圖像）模型，有1B、4B、12B和27B四種規(guī)模。現(xiàn)已在Unsloth支持，Gemma 3擁有128K上下文窗口和多語言支持。

（1）使用Unsloth的Colab筆記本微調(diào)Gemma 3。Unsloth修復(fù)了一些Gemma 3訓(xùn)練問題。

（2）Unsloth使Gemma 3（12B）微調(diào)速度提升1.6倍，VRAM使用減少60%，在48GB GPU上比使用Flash Attention 2的環(huán)境能處理6倍更長的內(nèi)容。

（3）Unsloth在Hugging Face這里上傳了所有版本的Gemma 3，包括2-8位GGUF、動(dòng)態(tài)4位和16位版本。還修復(fù)了之前Unsloth的GGUF不支持視覺功能的問題。

（4）閱讀Unsloth的指南，了解如何正確運(yùn)行Gemma 3。

Unsloth現(xiàn)在還支持一切功能*，包括：完全微調(diào)、8位訓(xùn)練、預(yù)訓(xùn)練、所有transformer風(fēng)格模型（Mixtral、MOE、Cohere等）以及任何訓(xùn)練算法，如與VLM一起使用的GRPO。

獲取最新穩(wěn)定版Unsloth：

pip install --upgrade --force-reinstall --no-cache-dir unsloth unsloth_zoo

Gemma 3微調(diào)

Unsloth在Gemma 3（1B到27B）微調(diào)過程中還遇到了許多無限梯度問題。Unsloth發(fā)現(xiàn)float16混合精度（Tesla T4，RTX 2080系列）工作不佳，因此默認(rèn)使用float32精度。Float16在A100上也失敗，所以這是一個(gè)與硬件無關(guān)的問題。不過bfloat16運(yùn)行良好！Unsloth會(huì)自動(dòng)選擇最佳數(shù)據(jù)類型！您不需要做任何事情！

使用Unsloth，Gemma 3（27B）微調(diào)所需VRAM不到22GB！速度也提升了1.6倍，默認(rèn)使用Unsloth 動(dòng)態(tài)4位量化以獲得更高精度！您還可以直接使用Gemma 3與Unsloth的GRPO訓(xùn)練自己的推理模型。

嘗試在Unsloth免費(fèi)的Google Colab筆記本中用Unsloth微調(diào)Gemma 3（4B）。要查看Unsloth所有的筆記本和模型上傳，請(qǐng)?jiān)L問Unsloth的文檔。

Unsloth還在與Hugging Face合作開發(fā)R1推理課程 - Gemma 3 GRPO筆記本將在下周初發(fā)布。

性能基準(zhǔn)測試

Unsloth使用Alpaca數(shù)據(jù)集進(jìn)行測試，批量大小為2，梯度累積步驟為4，rank = 32，并在所有線性層（q, k, v, o, gate, up, down）應(yīng)用QLoRA。

Blog地址：??https://unsloth.ai/blog/gemma3??

GitHub地址: ??https://github.com/unslothai/unsloth??    

Colab地址：???https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Gemma3_(4B).ipynb??

本文轉(zhuǎn)載自??AI帝國??，作者：無影寺