Pasqyrë e LiteRT

LiteRT (shkurt për Lite Runtime), i njohur më parë si TensorFlow Lite, është koha e ekzekutimit me performancë të lartë të Google për AI në pajisje. Mund të gjeni modele LiteRT të gatshme për ekzekutim për një gamë të gjerë detyrash ML/AI, ose të konvertoni dhe ekzekutoni modelet TensorFlow, PyTorch dhe JAX në formatin TFLite duke përdorur veglat e konvertimit dhe optimizimit të AI Edge.

Karakteristikat kryesore

  • Optimizuar për mësimin e makinerisë në pajisje : LiteRT adreson pesë kufizime kryesore të ODML: vonesa (nuk ka vajtje-ardhje në server), privatësi (nuk ka të dhëna personale që largohen nga pajisja), lidhje (nuk kërkohet lidhja në internet), madhësia (modeli i reduktuar dhe madhësia binare) dhe konsumi i energjisë (konkluzionet efikase dhe mungesa e lidhjeve në rrjet).

  • Mbështetje për shumë platforma : E përputhshme me pajisjet Android dhe iOS , Linux të integruar dhe mikrokontrolluesit .

  • Opsionet e modelit me shumë korniza : AI Edge ofron mjete për të kthyer modelet nga modelet TensorFlow, PyTorch dhe JAX në formatin FlatBuffers ( .tflite ), duke ju mundësuar të përdorni një gamë të gjerë modelesh më të fundit në LiteRT. Ju gjithashtu keni akses në mjetet e optimizimit të modeleve që mund të trajtojnë kuantizimin dhe metadatat.

  • Mbështetje e gjuhëve të ndryshme : Përfshin SDK për Java/Kotlin, Swift, Objective-C, C++ dhe Python.

  • Performancë e lartë : Përshpejtimi i harduerit përmes delegatëve të specializuar si GPU dhe iOS Core ML.

Rrjedha e punës së zhvillimit

Rrjedha e punës e zhvillimit të LiteRT përfshin identifikimin e një problemi ML/AI, zgjedhjen e një modeli që zgjidh atë problem dhe zbatimin e modelit në pajisje. Hapat e mëposhtëm ju përcjellin rrjedhën e punës dhe ofrojnë lidhje me udhëzime të mëtejshme.

1. Identifikoni zgjidhjen më të përshtatshme për problemin e ML

LiteRT u ofron përdoruesve një nivel të lartë fleksibiliteti dhe përshtatshmërie kur bëhet fjalë për zgjidhjen e problemeve të mësimit të makinerive, duke e bërë atë një përshtatje të mirë për përdoruesit që kërkojnë një model specifik ose një zbatim të specializuar. Përdoruesit që kërkojnë zgjidhje plug-and-play mund të preferojnë MediaPipe Tasks , i cili ofron zgjidhje të gatshme për detyrat e zakonshme të mësimit të makinerive si zbulimi i objekteve, klasifikimi i tekstit dhe konkluzionet LLM.

Zgjidhni një nga kornizat e mëposhtme të AI Edge:

  • LiteRT : Kohëzgjatja fleksibël dhe e personalizueshme që mund të ekzekutojë një gamë të gjerë modelesh. Zgjidhni një model për rastin tuaj të përdorimit, konvertojeni atë në formatin LiteRT (nëse është e nevojshme) dhe ekzekutoni atë në pajisje. Nëse keni ndërmend të përdorni LiteRT, vazhdoni të lexoni.
  • Detyrat MediaPipe : Zgjidhje "Plug-and-play" me modelet e paracaktuara që lejojnë personalizimin. Zgjidhni detyrën që zgjidh problemin tuaj AI/ML dhe zbatojeni atë në platforma të shumta. Nëse keni ndërmend të përdorni MediaPipe Tasks, referojuni dokumentacionit të MediaPipe Tasks .

2. Zgjidhni një model

Një model LiteRT përfaqësohet në një format efikas portativ të njohur si FlatBuffers , i cili përdor ekstensionin e skedarit .tflite .

Ju mund të përdorni një model LiteRT në mënyrat e mëposhtme:

Një model LiteRT mund të përfshijë opsionalisht meta të dhëna që përmbajnë përshkrime të modeleve të lexueshme nga njeriu dhe të dhëna të lexueshme nga makina për gjenerimin automatik të tubacioneve para dhe pas përpunimit gjatë konkluzioneve në pajisje. Referojuni Shto meta të dhënave për më shumë detaje.

3. Integroni modelin në aplikacionin tuaj

Ju mund të zbatoni modelet tuaja LiteRT për të ekzekutuar konkluzionet plotësisht në pajisje në ueb, pajisje të integruara dhe celulare. LiteRT përmban API për Python , Java dhe Kotlin për Android, Swift për iOS dhe C++ për mikro-pajisjet.

Përdorni udhëzuesit e mëposhtëm për të zbatuar një model LiteRT në platformën tuaj të preferuar:

  • Ekzekutoni në Android : Ekzekutoni modelet në pajisjet Android duke përdorur API-të Java/Kotlin.
  • Ekzekutoni në iOS : Ekzekutoni modelet në pajisjet iOS duke përdorur API-të Swift.
  • Run on Micro : Ekzekutoni modelet në pajisjet e integruara duke përdorur API-të C++.

Në pajisjet Android dhe iOS, mund të përmirësoni performancën duke përdorur përshpejtimin e harduerit. Në secilën platformë mund të përdorni një delegat GPU dhe në iOS mund të përdorni Delegatin Core ML . Për të shtuar mbështetje për përshpejtuesit e rinj të harduerit, mund të përcaktoni delegatin tuaj .

Ju mund të ekzekutoni konkluzionet në mënyrat e mëposhtme bazuar në llojin e modelit:

  • Modelet pa metadata : Përdorni LiteRT Interpreter API. Mbështetet në platforma dhe gjuhë të shumta si Java, Swift, C++, Objective-C dhe Python.

  • Modelet me metadata : Ju mund të ndërtoni tubacione të personalizuara të konkluzioneve me Bibliotekën e Mbështetjes LiteRT .

Migroni nga TF Lite

Aplikacionet që përdorin bibliotekat TF Lite do të vazhdojnë të funksionojnë, por të gjitha zhvillimet dhe përditësimet e reja aktive do të përfshihen vetëm në paketat LiteRT. API-të LiteRT përmbajnë të njëjtat emra metodash si API-të TF Lite, kështu që migrimi në LiteRT nuk kërkon ndryshime të detajuara të kodit.

Për më shumë informacion, referojuni udhëzuesit të migrimit .

Hapat e ardhshëm

Përdoruesit e rinj duhet të fillojnë me fillimin e shpejtë të LiteRT . Për informacion specifik, shihni seksionet e mëposhtme:

Konvertimi i modelit

Udhëzuesit e platformës