Gemma 是一系列最先進的輕量開放模型,使用與建立 Gemini 模型相同的研究和技術建構而成。Gemma 是由 Google DeepMind 和 Google 其他團隊開發,以拉丁文「gemma」命名 (亦即「寶石寶石」)。開發人員工具支援 Gemma 模型權重,其可促進創新、協同合作,以及負責任地使用人工智慧 (AI) 的情形。
Gemma 模型可在您的應用程式、硬體、行動裝置或託管服務中執行。您也可以使用調整技巧自訂這些模型,讓這些模型充分執行您和使用者重視的工作。Gemma 模型吸引了 Gemini 系列模型的靈感和技術歷程,專為 AI 開發社群打造,以期擴充並推陳出新。
您可以使用 Gemma 模型產生文字,但您也可以調整這些模型,專門執行特定工作。經過調整的 Gemma 模型可以為您和使用者提供更目標性和效率更佳的生成式 AI 解決方案。請參閱我們的指南,瞭解如何運用 LoRA 進行調整並試用!我們非常期待看到您運用 Gemma 打造的成果!
本開發人員說明文件概略介紹可用的 Gemma 模型和開發指南,說明如何套用這些模型,並針對特定應用程式進行調整。
模型大小和功能
Gemma 模型有多種規模,因此您可以根據可用的運算資源、所需功能以及要執行的位置,建構生成式 AI 解決方案。如果您不確定要從何處著手,可以試著依據較低的資源需求,使用 2B 的參數大小,並更靈活地部署模型。
參數大小 | 輸入內容 | 輸出內容 | 微調版本 | 目標平台 |
---|---|---|---|---|
20 億 | 文字 | 文字 |
|
行動裝置和筆記型電腦 |
70 億次 | 文字 | 文字 |
|
桌上型電腦和小型伺服器 |
使用 Keras 3.0 的多重支援的功能,即可在 TensorFlow、JAX 和 PyTorch 上執行這些模型,甚至可以使用 JAX (以 FLAX 架構為基礎) 和 PyTorch 的原生實作執行。
您可以從 Kaggle 模型下載 Gemma 模型。
調整過的模型
您可以使用額外訓練來修改 Gemma 模型的行為,讓模型在特定任務上更有效。這個過程稱為模型「調整」。雖然這項技術提升模型執行目標任務的能力,但也可能導致模型在其他工作中變得更加嚴重。因此,Gemma 模型在調整過的和預先訓練版本中都提供使用:
- 預先訓練 - 這些版本的模型並未用於 Gemma 核心資料訓練集以外的任何特定工作或指令訓練。請勿在不進行部分調整的情況下部署這些模型。
- 指令調整 - 這些版本的模型使用人類語言互動來訓練,並可以回應對話輸入內容,類似聊天機器人。
開始使用
請參閱下列指南,開始使用 Gemma 建構解決方案:
- 使用 Gemma 產生文字 - 使用模型建構基本的文字產生範例。
- Tune Gemma with LoRA 調整 - 對 Gemma 2B 模型執行 LoRA 微調。
- 使用分散式訓練來微調 Gemma 模型 - 使用 Keras 搭配 JAX 後端,使用 LoRA 和模型平行處理來微調 Gemma 7B 模型。
- PyTorch 中的 Gemma:使用 PyTorch 透過 Gemma 產生文字。
- 將 Gemma 部署至實際工作環境 - 使用 Vertex AI 將 Gemma 部署至實際工作環境。