Ky dokument përshkruan metoda dhe mjete të ndryshme për vendosjen dhe ekzekutimin e modeleve Gemma në pajisjet celulare, duke përfshirë përdorimin e aplikacionit Google AI Edge Gallery dhe MediaPipe LLM Inference API.
Për informacion mbi konvertimin e një modeli Gemma të rregulluar mirë në një version LiteRT, shihni Udhëzuesin e Konvertimit .
Aplikacioni Google AI Edge Gallery
Për të parë API-të e konkluzionit LLM në veprim dhe për të testuar modelin tuaj të Paketës së Detyrave, mund të përdorni aplikacionin Google AI Edge Gallery . Ky aplikacion ofron një ndërfaqe përdoruesi për ndërveprim me LLM-të në pajisje, duke ju lejuar të:
- Modelet e importit: Ngarko modelet e tua të personalizuara
.tasknë aplikacion. - Konfiguro parametrat: Rregullo cilësimet si temperatura dhe top-k.
- Gjeneroni tekst: Futni kërkesat dhe shikoni përgjigjet e modelit.
- Performanca e testit: Vlerësoni shpejtësinë dhe saktësinë e modelit.
Për një udhëzues të hollësishëm se si të përdorni aplikacionin Google AI Edge Gallery, duke përfshirë udhëzimet për importimin e modeleve tuaja, referojuni dokumentacionit të aplikacionit.
MediaPipe LLM
Ju mund të ekzekutoni modelet Gemma në pajisjet celulare me MediaPipe LLM Inference API . LLM Inference API vepron si një mbështjellës për modelet e gjuhëve të mëdha, duke ju mundësuar ekzekutimin e modeleve Gemma në pajisje për detyra të zakonshme të gjenerimit të tekstit në tekst, si marrja e informacionit, hartimi i emailit dhe përmbledhja e dokumenteve.
LLM Inference API është i disponueshëm në platformat e mëposhtme celulare:
Për të mësuar më shumë, referojuni dokumentacionit MediaPipe LLM Inference .