Gemini Nano, die kleinste Version der Gemini-Modellfamilie, kann ausgeführt werden auf kompatiblen Android-Geräten, darunter Google Pixel 8 Pro und Samsung S24-Modelle
Zum Ausführen des Gemini Nano-Modells unter Android müssen Sie den Das Google AI Edge SDK for Android bietet APIs für Folgendes:
- Ermitteln, ob das zugrunde liegende Android-Gerät unterstützt wird
- Zugriff auf das Gemini-Nano-Modell erhalten.
- Sicherheitseinstellungen abstimmen.
- Inferenzen mit hoher Leistung ausführen und Fallbacks implementieren
- Geben Sie optional einen LoRA-Abstimmungsblock an, um die Leistung des für Ihren Anwendungsfall.
Die APIs für den Zugriff auf Gemini Nano unterstützen Text-in-Text-Modalität und bieten noch mehr für die Zukunft gerechtfertigt sein.
Vorteile der On-Device-Ausführung
Die Ausführung auf dem Gerät ermöglicht Folgendes:
- Lokale Verarbeitung sensibler Daten: Die lokale Verarbeitung von Daten kann Ihnen helfen. Sie vermeiden es, Nutzerdaten in die Cloud zu senden. Das ist wichtig für Apps, sensible Daten wie Messaging-Apps mit Ende-zu-Ende-Verschlüsselung
- Offlinezugriff: Nutzer können auch dann auf KI-Funktionen zugreifen, wenn keine eine Internetverbindung. Dies ist nützlich für Anwendungen, die funktionieren, oder bei schwankender Internetverbindung.
- Kosteneinsparungen: Sie können die Inferenzkosten reduzieren, indem Sie die Ausführung auf Verbraucherhardware Dies kann zu erheblichen Einsparungen bei häufig genutzten User Flow.
Die On-Device-Ausführung von Gemini hat viele Vorteile: Für Anwendungsfälle, bei denen größere Gemini-Modelle benötigen. Zur Unterstützung einer Vielzahl von Geräten möchten die Gemini API verwenden, um auf dem Server auf Gemini zuzugreifen. Ich kann dies durch eine Back-End-Integration (mit Python, Go, Node.js oder REST) oder direkt aus Ihre Android-App über das neue Google AI Client SDK für Android.
Funktionsweise
Die Ausführung von Gemini Nano auf dem Gerät basiert auf Android AICore, einem neuen Systemfunktion, die Zugriff auf Foundation Models für On-Device- die mit Android 14 eingeführt wurde. Foundation Models werden mit AICore, sodass Sie sie nicht herunterladen oder in Ihrer App bereitstellen müssen. Ich können diese Modelle mit LoRa für nachgelagerte Aufgaben optimieren. Android AICore ist jetzt in der Produktion auf Google Pixel 8 Pro und Samsung S24-Geräten verfügbar und unterstützt bereits innovative Funktionen in Google-Apps.
Weitere Informationen finden Sie unter Android AICore.
Nächste Schritte
- Informationen dazu, wie Sie die Gemini Pro-Inferenz auf den Google-Servern nutzen können in Ihrer Android-App finden Sie in der Kurzanleitung für Google AI Client SDK for Android