Gemini Nano, die kleinste Version der Gemini-Modellfamilie, kann auf geeigneten Android-Geräten ausgeführt werden, beginnend mit Google Pixel 8 Pro und der Samsung S24-Serie.
Wenn Sie das Gemini Nano-Modell auf Android-Geräten ausführen möchten, müssen Sie das Google AI Edge SDK for Android verwenden. Dieses SDK bietet APIs für Folgendes:
- Prüfen Sie, ob das zugrunde liegende Android-Gerät unterstützt wird.
- Zugriff auf das Gemini Nano-Modell erhalten
- Passen Sie die Sicherheitseinstellungen an.
- Führen Sie die Inferenz mit hoher Leistung aus und implementieren Sie Fallbacks.
- Optional können Sie einen LoRA-Abstimmungsblock bereitstellen, um die Leistung des Modells für Ihren Anwendungsfall zu verbessern.
Die APIs für den Zugriff auf Gemini Nano unterstützen die Modalität „Text-zu-Text“. Weitere Modalitäten werden in Zukunft hinzukommen.
Vorteile der Ausführung auf dem Gerät
Die Ausführung auf dem Gerät ermöglicht Folgendes:
- Lokale Verarbeitung sensibler Daten: Wenn Sie Daten lokal verarbeiten, können Sie das Senden von Nutzerdaten in die Cloud vermeiden. Das ist wichtig für Apps, die mit sensiblen Daten umgehen, z. B. Messaging-Apps mit Ende-zu-Ende-Verschlüsselung.
- Offlinezugriff: Nutzer können auch ohne Internetverbindung auf KI-Funktionen zugreifen. Das ist nützlich für Anwendungen, die offline oder mit variabler Konnektivität funktionieren müssen.
- Kosteneinsparungen: Sie können die Inferenzkosten senken, indem Sie die Ausführung auf Consumer-Hardware auslagern. Das kann bei häufig verwendeten Nutzerflüssen zu erheblichen Einsparungen führen.
Die Ausführung von Gemini auf dem Gerät bietet viele Vorteile. Für Anwendungsfälle, die größere Gemini-Modelle erfordern, und zur Unterstützung einer Vielzahl von Geräten sollten Sie jedoch die Gemini API zum Zugriff auf Gemini auf dem Server verwenden. Sie können dies entweder über die Backend-Integration (mit Python, Go, Node.js oder REST) oder direkt über Ihre Android-App über das neue Google AI Client SDK für Android tun.
Funktionsweise
Die On-Device-Ausführung von Gemini Nano wird von Android AICore unterstützt, einer neuen Funktion auf Systemebene, die in Android 14 eingeführt wurde und Zugriff auf Foundation-Modelle für die On-Device-Ausführung bietet. Basismodelle werden mit AICore vorinstalliert, sodass Sie sie nicht herunterladen oder in Ihrer App verteilen müssen. Sie können diese Modelle mit LoRa für nachfolgende Aufgaben optimieren. Android AICore ist jetzt in der Produktion auf Google Pixel 8 Pro und Geräten der Samsung S24-Serie verfügbar und ermöglicht bereits innovative Funktionen in Google-Apps.
Weitere Informationen finden Sie unter Android AICore.
Nächste Schritte
- Informationen dazu, wie Sie die Gemini Pro-Inferenz auf den Google-Servern in Ihrer Android-App nutzen können, finden Sie in der Kurzanleitung für das Google AI Client SDK für Android.