Gemini Nano, die kleinste Version der Gemini-Modellfamilie, kann auf kompatiblen Android-Geräten ab Google Pixel 8 Pro und der Samsung S24-Serie auf dem Gerät ausgeführt werden.
Zum Ausführen des Gemini-Nano-Modells unter Android müssen Sie das Google AI Edge SDK for Android verwenden, das APIs für folgende Zwecke bietet:
- Prüfe, ob das zugrunde liegende Android-Gerät unterstützt wird.
- Zugriff auf das Gemini-Nano-Modell erhalten.
- Sicherheitseinstellungen anpassen.
- Inferenz mit hoher Leistung ausführen und Fallbacks implementieren
- Geben Sie optional einen LoRA-Feinabstimmungsblock an, um die Leistung des Modells für Ihren Anwendungsfall zu verbessern.
Die APIs für den Zugriff auf Gemini Nano unterstützen die Text-zu-Text-Modalität. Weitere Modalitäten werden in Zukunft folgen.
Vorteile der On-Device-Ausführung
Die On-Device-Ausführung ermöglicht Folgendes:
- Lokale Verarbeitung sensibler Daten: Durch die lokale Verarbeitung von Daten können Sie vermeiden, dass Nutzerdaten an die Cloud gesendet werden. Dies ist wichtig für Apps, die sensible Daten verarbeiten, z. B. Messaging-Apps mit Ende-zu-Ende-Verschlüsselung.
- Offlinezugriff: Nutzer können auch ohne Internetverbindung auf KI-Funktionen zugreifen. Dies ist nützlich für Anwendungen, die offline oder mit variabler Konnektivität arbeiten müssen.
- Kosteneinsparungen: Sie können die Inferenzkosten senken, indem Sie die Ausführung auf die Hardware der Verbraucher verlagern. Dies kann zu erheblichen Einsparungen bei häufig verwendeten Abläufen führen.
Die On-Device-Ausführung von Gemini bietet jedoch viele Vorteile. Für Anwendungsfälle, die größere Gemini-Modelle erfordern und eine breite Palette von Geräten unterstützen, können Sie jedoch die Gemini API für den Zugriff auf Gemini auf dem Server in Betracht ziehen. Dies ist entweder über die Back-End-Integration (mit Python, Go, Node.js oder REST) oder direkt über Ihre Android-App mit dem neuen Google AI Client SDK for Android möglich.
Funktionsweise
Die On-Device-Ausführung von Gemini Nano erfolgt mit Android AICore, einer neuen Funktion auf Systemebene, die Zugriff auf Basismodelle für die Ausführung auf dem Gerät bietet. Sie wurde mit Android 14 eingeführt. Foundation-Modelle werden mit AICore vorinstalliert, sodass Sie sie nicht herunterladen oder in Ihrer App verteilen müssen. Sie können diese Modelle mit LoRa für nachgelagerte Aufgaben optimieren. Android AICore ist jetzt auf Geräten der Serien Google Pixel 8 Pro und Samsung S24 in der Produktion verfügbar und unterstützt bereits innovative Funktionen in Google-Apps.
Weitere Informationen findest du unter Android AICore.
Nächste Schritte
Wenn Sie Gemini Nano mit Ihrer App auf dem Gerät verwenden möchten, beantragen Sie unsere Early-Access-Vorschau des Google AI Edge SDK for Android.
Informationen zur Nutzung der Gemini Pro-Inferenz auf Google-Servern in Ihrer Android-App finden Sie in der Kurzanleitung für das Google AI Client SDK for Android.