Gemini Nano, najniższa wersja rodziny modeli Gemini, może zostać wykonana na zgodnych urządzeniach z Androidem, począwszy od Google Pixel 8 Pro Samsung S24.
Aby uruchomić model Gemini Nano na Androidzie, musisz użyć interfejsu Pakiet Google AI Edge SDK na Androida, który udostępnia interfejsy API umożliwiające:
- Sprawdź, czy dane urządzenie z systemem Android jest obsługiwane.
- Uzyskaj dostęp do modelu Gemini Nano.
- Dostosuj ustawienia bezpieczeństwa.
- Przeprowadzaj wnioskowanie z dużą wydajnością i wdrażaj wartości zastępcze.
- Opcjonalnie możesz udostępnić blok dostrajania LoRA, aby poprawić wydajność do swojego przypadku użycia.
Interfejsy API umożliwiające dostęp do modalności tekstu na tekst obsługują Gemini Nano, a także inne funkcje i modalności, które wprowadzimy w przyszłości.
Zalety wykonywania na urządzeniu
Wykonywanie na urządzeniu umożliwia:
- Lokalne przetwarzanie danych wrażliwych: lokalne przetwarzanie danych pomaga: i unikaj wysyłania danych użytkowników do chmury. Jest to ważne w przypadku aplikacji, które obsługują danych wrażliwych, np. komunikatorów z pełnym szyfrowaniem.
- Dostęp w trybie offline: użytkownicy mają dostęp do funkcji AI nawet wtedy, gdy nie ma i połączenia z internetem. Jest to przydatne w aplikacjach, które muszą działać w trybie offline lub ze zmienną łącznością.
- Oszczędność kosztów: możesz zmniejszyć koszty wnioskowania, odciążając wykonywanie zadań i konsumenckim sprzętem. Może to przynieść znaczne oszczędności w przypadku często używanych wzorzec przeglądania.
Uruchamianie Gemini na urządzeniu ma wiele zalet. jednak w przypadkach użycia, wymagają większych modeli Gemini, a także do obsługi szerokiej gamy urządzeń, chcą mieć dostęp do Gemini na serwerze za pomocą interfejsu Gemini API. Ty Można to zrobić przez integrację backendu (z Pythonem, Go, Node.js, REST) lub bezpośrednio z aplikacji na Androida za pomocą Pakiet SDK klienta AI od Google na Androida.
Jak to działa
Działanie Gemini Nano na urządzeniu korzysta z technologii Android AICore, funkcja na poziomie systemu, która zapewnia dostęp do modeli podstawowych na urządzeniu i wykonaniu, co zostało wprowadzone w Androidzie 14. Modele podstawowe są wstępnie instalowane przy użyciu AICore, więc nie musisz ich pobierać ani rozpowszechniać w swojej aplikacji. Ty mogą dostroić te modele do kolejnych zadań za pomocą LoRa. Android AICore to teraz dostępne w wersji produkcyjnej na urządzeniach Google Pixel 8 Pro i Samsung S24 i opracowuje już innowacyjne funkcje w aplikacjach Google.
Więcej informacji znajdziesz na stronie Android AICore.
Co dalej?
- Aby dowiedzieć się, jak korzystać z wnioskowania Gemini Pro na serwerach Google w aplikacji na Androida, przeczytaj krótkie wprowadzenie dla pakiet SDK klienta AI od Google na Androida.