Pasqyrë e LiteRT

LiteRT (shkurtim për Lite Runtime), i njohur më parë si TensorFlow Lite, është koha e ekzekutimit me performancë të lartë e Google për IA në pajisje. Mund të gjeni modele LiteRT të gatshme për t'u ekzekutuar për një gamë të gjerë detyrash ML/IA, ose të konvertoni dhe ekzekutoni modele TensorFlow, PyTorch dhe JAX në formatin TFLite duke përdorur mjetet e konvertimit dhe optimizimit AI Edge.

Karakteristikat kryesore

  • I optimizuar për të mësuarit automatik në pajisje : LiteRT adreson pesë kufizime kryesore të ODML: vonesën (nuk ka udhëtim vajtje-ardhje në një server), privatësinë (nuk ka të dhëna personale që dalin nga pajisja), lidhshmërinë (nuk kërkohet lidhje interneti), madhësinë (madhësi e reduktuar e modelit dhe e sistemit binare) dhe konsumin e energjisë (inferencë efikase dhe mungesë lidhjesh rrjeti).

  • Mbështetje për shumë platforma : I pajtueshëm me pajisjet Android dhe iOS , Linux të integruar dhe mikrokontrollues .

  • Opsionet e modelit me shumë korniza : AI Edge ofron mjete për të konvertuar modelet nga modelet PyTorch dhe TensorFlow në formatin FlatBuffers ( .tflite ), duke ju mundësuar të përdorni një gamë të gjerë modelesh të teknologjisë së fundit në LiteRT. Gjithashtu keni qasje në mjete optimizimi të modelit që mund të trajtojnë kuantizimin dhe metadatat.

  • Mbështetje për gjuhë të ndryshme : Përfshin SDK për Java/Kotlin, Swift, Objective-C, C++ dhe Python.

  • Performancë e lartë : Përshpejtim i harduerit përmes delegatëve të specializuar si GPU dhe iOS Core ML.

Fluksi i punës së zhvillimit

Fluksi i punës së zhvillimit të LiteRT përfshin identifikimin e një problemi të ML/IA-së, zgjedhjen e një modeli që zgjidh atë problem dhe zbatimin e modelit në pajisje. Hapat e mëposhtëm ju udhëheqin nëpër rrjedhën e punës dhe ofrojnë lidhje për udhëzime të mëtejshme.

1. Identifikoni zgjidhjen më të përshtatshme për problemin e ML-së

LiteRT u ofron përdoruesve një nivel të lartë fleksibiliteti dhe përshtatshmërie kur bëhet fjalë për zgjidhjen e problemeve të të mësuarit automatik, duke e bërë atë një zgjedhje të mirë për përdoruesit që kërkojnë një model specifik ose një implementim të specializuar. Përdoruesit që kërkojnë zgjidhje plug-and-play mund të preferojnë MediaPipe Tasks , i cili ofron zgjidhje të gatshme për detyra të zakonshme të të mësuarit automatik, si zbulimi i objekteve, klasifikimi i tekstit dhe nxjerrja e përfundimeve LLM.

Zgjidhni një nga kornizat e mëposhtme AI Edge:

  • LiteRT : Kohëzgjatje fleksibile dhe e personalizueshme që mund të ekzekutojë një gamë të gjerë modelesh. Zgjidhni një model për rastin tuaj të përdorimit, konvertojeni atë në formatin LiteRT (nëse është e nevojshme) dhe ekzekutojeni atë në pajisje. Nëse keni ndërmend të përdorni LiteRT, vazhdoni të lexoni.
  • Detyrat e MediaPipe : Zgjidhje plug-and-play me modele të paracaktuara që lejojnë personalizimin. Zgjidhni detyrën që zgjidh problemin tuaj të IA/ML dhe zbatojeni atë në platforma të shumta. Nëse keni ndërmend të përdorni Detyrat e MediaPipe, referojuni dokumentacionit të Detyrave të MediaPipe .

2. Zgjidhni një model

Një model LiteRT përfaqësohet në një format efikas portativ të njohur si FlatBuffers , i cili përdor prapashtesën e skedarit .tflite .

Ju mund të përdorni një model LiteRT në mënyrat e mëposhtme:

  • Përdorni një model ekzistues LiteRT: Qasja më e thjeshtë është të përdorni një model LiteRT që është tashmë në formatin .tflite . Këto modele nuk kërkojnë hapa shtesë konvertimi. Mund të gjeni modele LiteRT në Kaggle Models .

  • Konvertoni një model në një model LiteRT: Mund të përdorni PyTorch Converter ose TensorFlow Converter për të konvertuar modelet në formatin FlatBuffers ( .tflite ) dhe t'i ekzekutoni ato në LiteRT. Për të filluar, mund të gjeni modele në faqet e mëposhtme:

Një model LiteRT mund të përfshijë opsionalisht meta të dhëna që përmbajnë përshkrime të modelit të lexueshme nga njeriu dhe të dhëna të lexueshme nga makina për gjenerimin automatik të tubacioneve të para- dhe pas-përpunimit gjatë nxjerrjes së përfundimeve në pajisje. Shihni Shto meta të dhëna për më shumë detaje.

3. Integroni modelin në aplikacionin tuaj

Ju mund të implementoni modelet tuaja LiteRT për të ekzekutuar përfundime plotësisht në pajisje në pajisje web, të integruara dhe mobile. LiteRT përmban API për Python , Java dhe Kotlin për Android, Swift për iOS dhe C++ për mikro-pajisje.

Përdorni udhëzuesit e mëposhtëm për të zbatuar një model LiteRT në platformën tuaj të preferuar:

Në pajisjet Android dhe iOS, mund të përmirësoni performancën duke përdorur përshpejtimin e harduerit. Në secilën platformë mund të përdorni një Delegatë GPU , dhe në iOS mund të përdorni Delegatën Core ML . Për të shtuar mbështetje për përshpejtuesit e rinj të harduerit, mund të përcaktoni delegatën tuaj .

Ju mund të ekzekutoni përfundimin në mënyrat e mëposhtme bazuar në llojin e modelit:

  • Modele pa meta të dhëna : Përdorni API-n LiteRT Interpreter . Mbështetet në platforma dhe gjuhë të shumta si Java, Swift, C++, Objective-C dhe Python.

  • Modele me meta të dhëna : Ju mund të ndërtoni tubacione të personalizuara të përfundimit me Bibliotekën e Mbështetjes LiteRT .

Migro nga TF Lite

Aplikacionet që përdorin bibliotekat TF Lite do të vazhdojnë të funksionojnë, por të gjitha zhvillimet dhe përditësimet e reja aktive do të përfshihen vetëm në paketat LiteRT. API-të e LiteRT përmbajnë të njëjtat emra metodash si API-të e TF Lite, kështu që migrimi në LiteRT nuk kërkon ndryshime të detajuara të kodit.

Për më shumë informacion, referojuni udhëzuesit të migrimit .

Hapat e ardhshëm

Përdoruesit e rinj duhet të fillojnë me nisjen e shpejtë të LiteRT . Për informacione specifike, shihni seksionet e mëposhtme:

Konvertimi i modelit

Udhëzues për platformën