Omówienie LiteRT

LiteRT (dawniej TensorFlow Lite) to wydajne środowisko wykonawcze Google dla AI na urządzeniu. Dostępne są gotowe do użycia modele LiteRT dla szerokiego grona odbiorców do zadań ML/AI lub konwertuj i uruchamiaj modele TensorFlow, PyTorch i JAX, za pomocą narzędzi AI Edge do konwersji i optymalizacji.

Najważniejsze funkcje

  • Zoptymalizowane pod kątem systemów uczących się na urządzeniu: LiteRT ma adres 5. główne ograniczenia związane z ODML: czas oczekiwania (brak przesyłania danych z serwera w obie strony), prywatność (żadne dane osobiste nie opuszczają urządzenia), łączność (łączność z internetem jest niewymagane), rozmiar (zmniejszony model i rozmiar pliku binarnego) oraz zużycie energii (wydajne wnioskowanie i brak połączeń sieciowych).

  • Obsługa wielu platform: zgodność z Androidem i Urządzenia z iOS, wbudowane Linux oraz mikrokontrolery.

  • Opcje modeli z wieloma ramkami: AI Edge zapewnia narzędzia do konwertowania modeli z modeli TensorFlow, PyTorch i JAX na format FlatBuffers (.tflite), co pozwala na korzystanie z szerokiej gamy najnowocześniejszych modeli LiteRT. Masz też dostęp do narzędzi do optymalizacji modeli, które potrafią obsłużyć kwantyzacji i metadanych.

  • Obsługa różnych języków: obejmuje pakiety SDK dla Javy/Kotlin, Swift, w językach Objective-C, C++ i Python.

  • Wysoka wydajność: akceleracja sprzętowa dzięki wyspecjalizowanym przedstawicielom, takim jak GPU czy iOS Core ML.

Przepływ pracy podczas programowania

Proces programowania LiteRT obejmuje identyfikację problemu z ML/AI, wyboru modelu rozwiązania tego problemu i wdrażania go na urządzeniu. Poniższe kroki przeprowadzą Cię przez ten proces i udostępnią linki do dalszych informacji za instrukcje.

1. Określ najbardziej odpowiednie rozwiązanie problemu ML

LiteRT oferuje użytkownikom wysoki poziom elastyczności i możliwości dostosowania. przy rozwiązywaniu problemów z systemami uczącymi się, dzięki czemu dobrze sprawdza się dla użytkowników, którzy potrzebują określonego modelu lub specjalistycznej implementacji. Użytkownicy osoby szukające rozwiązań typu plug-and-play mogą preferować MediaPipe Lista zadań, która zapewnia gotowych rozwiązań do typowych zadań systemów uczących się, takich jak wykrywanie obiektów, klasyfikacja tekstu i wnioskowanie z wykorzystaniem LLM.

Wybierz jedną z tych platform AI Edge:

  • LiteRT: elastyczne, konfigurowalne środowisko wykonawcze, które może działać na z szeroką gamą modeli. Wybierz model dla swojego przypadku użycia i przekształć go w w formacie LiteRT (w razie potrzeby) i uruchomić go na urządzeniu. Jeśli chcesz na LiteRT, czytaj dalej.
  • Zadania MediaPipe: rozwiązania typu plug-and-play z modelami domyślnymi, które zezwalają aby je dostosować. Wybierz zadanie, które rozwiąże Twój problem z AI/ML. wdrożenia go na wielu platformach. Jeśli zamierzasz korzystać z Listy zadań MediaPipe, zapoznaj się z informacjami o MediaPipe Listy zadań.

2. Wybierz model

Model LiteRT jest przedstawiony w wydajnym formacie przenośnym znanym jako FlatBuffers, który korzysta z .tflite .

Modelu LiteRT możesz używać na te sposoby:

Model LiteRT może opcjonalnie zawierać metadane zawierające zrozumiałe dla człowieka opisy modeli oraz czytelne dla komputera dane do automatycznego generowania potoków przed i po przetwarzaniu podczas wnioskowania na urządzeniu. Więcej informacji znajdziesz w sekcji Dodawanie metadanych.

3. Zintegruj model z aplikacją

Możesz wdrożyć modele LiteRT, aby w pełni przeprowadzać wnioskowania na urządzeniach internetowych, w aplikacjach i na urządzeniach mobilnych. LiteRT zawiera interfejsy API dla języków Python, Java i Kotlin na Androida, Swift na iOS i C++ na mikrourządzenia.

Skorzystaj z tych przewodników, aby wdrożyć model LiteRT na preferowanym urządzeniu platforma:

  • Uruchom na Androidzie: umożliwia uruchamianie modeli na urządzeniach z Androidem za pomocą interfejsów API Java i Kotlin.
  • Uruchom na urządzeniach z iOS: umożliwia uruchamianie modeli na urządzeniach z iOS za pomocą kodu Swift. API.
  • Uruchom w mikro: uruchamianie modeli na urządzeniach umieszczonych na stronie. przy użyciu interfejsów API w języku C++.

Na urządzeniach z Androidem lub iOS możesz poprawić wydajność przy użyciu sprzętu jego przyspieszenie. Na obu platformach możesz używać GPU Przekaż dostęp, a w iOS możesz użyć Core ML. Przedstawiciel. Aby dodać obsługę nowych akceleratorów sprzętowych, zdefiniuj własnego przedstawiciela.

Na podstawie typu modelu możesz przeprowadzać wnioskowanie na te sposoby:

  • Modele bez metadanych: użyj LiteRT Interpreter API. Obsługiwany na wielu platformach i w wielu językach takich jak Java, Swift, C++, Objective-C i Python.

  • Modele z metadanymi: niestandardowe potoki wnioskowania możesz tworzyć za pomocą Biblioteka pomocy LiteRT.

Migracja z LiteRT

Aplikacje korzystające z bibliotek LiteRT będą nadal działać, wszystkie nowe, aktywne programowanie i aktualizacje będą uwzględniane tylko w pakietach LiteRT. Interfejsy API LiteRT zawierają te same nazwy metod co interfejsy TF Lite API, więc migracja nie wymaga wprowadzania szczegółowych zmian w kodzie.

Więcej informacji znajdziesz w przewodniku po migracji.

Dalsze kroki

Nowi użytkownicy powinni zapoznać się z krótkim wprowadzeniem do LiteRT. Szczegółowe informacje zawierają te sekcje:

Konwersja modelu

Przewodniki po platformie