Gemini Nano, najmniejsza wersja z rodziny Gemini, można uruchamiać na zgodnych urządzeniach z Androidem, takich jak Google Pixel 8 Pro i Samsung S24.
Aby uruchomić model Gemini Nano na Androidzie, musisz użyć pakietu SDK Google AI Edge na Androida, który udostępnia interfejsy API umożliwiające:
- Sprawdź, czy urządzenie z systemem Android jest obsługiwane.
- Uzyskaj dostęp do modelu Gemini Nano.
- Dostosuj ustawienia bezpieczeństwa.
- Przeprowadzaj wnioskowanie przy wysokiej wydajności i wdrażaj wartości zastępcze.
- Opcjonalnie możesz udostępnić blok dostrajający LoRA, aby poprawić wydajność modelu w swoim przypadku użycia.
Interfejsy API umożliwiające dostęp do Gemini Nano obsługują modalność zamiany tekstu na tekst. W przyszłości dodamy więcej modalności.
Zalety uruchamiania na urządzeniu
Uruchamianie na urządzeniu umożliwia:
- Lokalne przetwarzanie danych wrażliwych: lokalne przetwarzanie danych może pomóc uniknąć wysyłania danych użytkowników do chmury. Jest to ważne w przypadku aplikacji obsługujących poufne dane, takich jak aplikacje do obsługi wiadomości z pełnym szyfrowaniem.
- Dostęp offline: użytkownicy mogą korzystać z funkcji AI nawet wtedy, gdy nie mają połączenia z internetem. Jest to przydatne w przypadku aplikacji, które muszą działać offline lub ze zmiennymi połączeniami.
- Oszczędności: możesz zmniejszyć koszty wnioskowania, przenosząc wykonywanie zadań na sprzęt konsumencki. Może to przynieść znaczne oszczędności w przypadku często używanych przepływów użytkowników.
Uruchamianie Gemini na urządzeniu ma wiele zalet, jednak w przypadkach, które wymagają większych modeli Gemini i obsługują szeroką gamę urządzeń, warto rozważyć użycie interfejsu Gemini API do uzyskiwania dostępu do Gemini na serwerze. Możesz to zrobić przez integrację backendu (z użyciem Python, Go, Node.js lub REST) albo bezpośrednio z aplikacji na Androida za pomocą nowego pakietu SDK klienta AI od Google na Androida.
Jak to działa
Uruchamianie Gemini Nano na urządzeniu korzysta z Android AICore – nowej funkcji na poziomie systemu, która zapewnia dostęp do modeli podstawowych do wykonywania na urządzeniu, wprowadzonych w Androidzie 14. Modele podstawowe są wstępnie zainstalowane za pomocą AICore, więc nie musisz ich pobierać ani rozpowszechniać w aplikacji. Możesz dostroić te modele do zadań na potrzeby dalszych działań za pomocą LoRa. Android AICore jest teraz dostępny w wersji produkcyjnej na urządzenia Google Pixel 8 Pro i Samsung S24 Series. Włącza też innowacyjne funkcje w aplikacjach Google.
Więcej informacji znajdziesz na stronie Android AICore.
Co dalej
Aby zacząć korzystać z Gemini Nano na urządzeniu z aplikacją, zgłoś się do programu wcześniejszego dostępu do pakietu SDK Google AI Edge na Androida.
Aby dowiedzieć się, jak korzystać z wnioskowania Gemini Pro na serwerach Google w aplikacji na Androida, przeczytaj krótkie wprowadzenie do pakietu SDK klienta AI od Google na Androida.