Gemini Nano, najmniejsza wersja modelu z rodziny Gemini, może działać na urządzeniu na odpowiednich urządzeniach z Androidem, począwszy od Google Pixel 8 Pro i serii Samsung S24.
Aby uruchomić model Gemini Nano na urządzeniu z Androidem, musisz użyć pakietu SDK Google AI Edge na Androida, który udostępnia interfejsy API do:
- Sprawdź, czy urządzenie z Androidem jest obsługiwane.
- Uzyskaj dostęp do modelu Gemini Nano.
- Dostosuj ustawienia bezpieczeństwa.
- Wykonywanie wnioskowania z wysoką wydajnością i wdrażanie rozwiązań zapasowych.
- Opcjonalnie możesz podać blok dokładnego dostrajania LoRA, aby poprawić wydajność modelu w przypadku Twojego przypadku użycia.
Interfejsy API do uzyskiwania dostępu do Gemini Nano obsługują obecnie modalność tekst-tekst, ale w przyszłości udostępnimy więcej modalności.
Zalety wykonywania na urządzeniu
Wykonywanie na urządzeniu umożliwia:
- Lokalne przetwarzanie danych wrażliwych: przetwarzanie danych lokalnie może pomóc uniknąć wysyłania danych użytkownika do chmury. Jest to ważne w przypadku aplikacji, które obsługują dane poufne, takich jak aplikacje do obsługi wiadomości z pełnym szyfrowaniem.
- Dostęp offline: użytkownicy mogą korzystać z funkcji AI nawet wtedy, gdy nie mają połączenia z internetem. Jest to przydatne w przypadku aplikacji, które muszą działać w trybie offline lub z niestabilnym połączeniem.
- Oszczędności: możesz obniżyć koszty wnioskowania, przenosząc wykonanie na sprzęt konsumencki. Może to przynieść znaczne oszczędności w przypadku często używanych ścieżek użytkownika.
Wykonywanie Gemini na urządzeniu ma wiele zalet, ale w przypadku zastosowań wymagających większych modeli Gemini i obsługi wielu urządzeń warto rozważyć użycie interfejsu Gemini API do uzyskiwania dostępu do Gemini na serwerze. Możesz to zrobić za pomocą integracji z backendem (z użyciem Python, Go, Node.js lub REST) albo bezpośrednio z aplikacji na Androida za pomocą nowego pakietu SDK klienta Google AI na Androida.
Jak to działa
Wykonywanie Gemini Nano na urządzeniu jest obsługiwane przez Android AICore, nową funkcję na poziomie systemu, która zapewnia dostęp do podstawowych modeli do wykonywania na urządzeniu. Została ona wprowadzona w Androidzie 14. Modele podstawowe są wstępnie instalowane za pomocą AICore, więc nie musisz ich pobierać ani rozpowszechniać w aplikacji. Możesz je dostroić do zadań realizowanych w dalszych etapach za pomocą LoRa. Android AICore jest teraz dostępny w produkcji na urządzeniach Google Pixel 8 Pro i Samsung S24 Series i obsługuje już innowacyjne funkcje w aplikacjach Google.
Więcej informacji znajdziesz w Android AICore.
Co dalej?
- Aby dowiedzieć się, jak korzystać z inferencji Gemini Pro na serwerach Google w aplikacji na Androida, przeczytaj przewodnik po pakiecie SDK klienta Google AI na Androida.