Pajisjet moderne mobile dhe periferike kanë Njësi të specializuara të Përpunimit Grafik (GPU) dhe Njësi të Përpunimit Neural (NPU) të afta të përshpejtojnë modelet e IA-së deri në 25 herë krahasuar me një CPU, ndërkohë që njëkohësisht zvogëlojnë konsumin e energjisë deri në 5 herë.
LiteRT thjeshton aksesin në këto silikone të specializuara përmes një pirgu të unifikuar për përshpejtimin e pajisjeve. Në vend që të menaxhojë SDK-të e fragmentuara, specifike për shitësit ose API-të komplekse të pajisjeve, LiteRT ofron një API të përmirësuar të CompiledModel që abstrakton kompleksitetin e optimizimit të modelit, menaxhimit të memories dhe shpërndarjes së pajisjeve.
Llojet e përshpejtuesve
LiteRT ofron një ndërfaqe të unifikuar për të ekzekutuar modele në një sërë backend-esh harduerike. Duke shfrytëzuar API-në CompiledModel, ju mund të kaloni pa probleme midis këtyre përshpejtuesve duke përdorur përpilimin në pajisje ose Ahead-of-Time (AOT), me rikthim automatik në CPU për operacione të pambështetura.
- CPU: rruga e parazgjedhur e ekzekutimit duke përdorur XNNPACK dhe është gjithmonë e disponueshme. E shkëlqyer për detyra të përgjithshme dhe rezervë për operatorët e pambështetur.
- GPU: mundësuar nga ML Drift, ofron performancë SOTA në të gjitha platformat edge duke përdorur OpenCL, WebGPU, Metal, etj. Për më shumë informacion, shihni përshpejtimin e GPU me LiteRT.
- NPU: efikasiteti dhe performanca më e lartë për ngarkesat e punës së IA-së. LiteRT ofron një rrjedhë të unifikuar zhvillimi për të aksesuar çipet e specializuara NPU, duke përfshirë Google Tensor, Qualcomm dhe MediaTek, pa kërkuar integrimin e SDK-së specifike të shitësit. Për më shumë informacion, shihni Përshpejtimi i NPU-së me LiteRT.
Këta përshpejtues mund të kombinohen për të arritur performancën më të mirë të mundshme kur disa operacione komplekse nuk janë të disponueshme në një harduer të caktuar. Kur përshpejtuesit konkurrojnë për një operacion, LiteRT përdor rendin e mëposhtëm të përparësisë: NPU, GPU, CPU .