Vendosni një model Gemma 270m të akorduar mirë me paketën Google AI Edge

Ky tutorial ju udhëzon nëpër procesin gjithëpërfshirës të vendosjes së një modeli Gemma të personalizuar në një aplikacion shembull për Android.

Në këtë tutorial, ne do të:

  1. Filloni me një model të rregulluar mirë
  2. Konvertoni modelin e akorduar imët me bibliotekën AI Edge Torch
    1. Kjo do ta konvertojë pikën e kontrollit HuggingFace në një skedar .litertlm
  3. Vlerësoni cilësinë e modelit të akorduar mirë
  4. Ekzekutoni komandat adb për të transferuar modelin e personalizuar në një pajisje testimi.
    1. Kjo do ta transferojë modelin në formatin .litertlm në një pajisje Android për testim lokal.
  5. Ekzekutoni aplikacionin shembull Pirate Gemma
    1. Kjo do të përdorë bibliotekën LiteRT-LM Kotlin për të ekzekutuar përfundime mbi modelin e akorduar imët në një aplikacion shembullor Android.

Hapi 1: Filloni me një model të rregulluar mirë

Për këtë tutorial, do të fillojmë me një model të akorduar imët. Për të treguar një ndryshim të qartë midis një modeli bazë dhe një modeli të akorduar imët, morëm një model bazë Gemma270m dhe e akorduam atë që të fliste si një pirat.

Mund ta gjeni modelin Pirate Gemma të para-akorduar mirë në https://huggingface.co/erintwalsh/pirate-gemma

Për më shumë informacion mbi rregullimin e imët të një modeli, shihni udhëzuesit Gemma Cookbook dhe Unsloth .

Hapi 2: Konvertoni dhe ekzekutoni modelin tuaj të personalizuar në rreshtin e komandave

Tani që keni një model të personalizuar të publikuar në HuggingFace, mund të përdorni bibliotekën AI Edge Torch për ta shkarkuar dhe konvertuar atë model në një format .litertlm .

Parakushte

Sigurohuni që të keni të instaluar në pajisjen tuaj programin uv tool dhe Python 3.11 ose më të ri.

Konverto modelin 

uv tool install litert-torch-nightly

litert-torch export_hf \
  --model=[YOUR-HF-USERNAME]/pirate-gemma \
  --output_dir=/tmp/pirate-gemma \
  --externalize_embedder

Ekzekutoni modelin tuaj në nivel lokal 

uv tool install litert-lm

litert-lm run  \
  /tmp/pirate-gemma/model.litertlm \
  --prompt="Where is the nearest buried treasure?"

Hapi 3: Vlerësoni cilësinë e modelit

Vlerësoni cilësinë e akordimit të imët

Pasi ta keni modelin tuaj të ekzekutuar lokalisht, mund të përdorni mjetin e vlerësimit CLI të AI Edge për të analizuar cilësinë e modelit LiteRT-LM të rregullimit të imët. Ky mjet ofron validim të integruar të paritetit të cilësisë pas konvertimit midis modelit origjinal HF dhe modelit LiteRT-LM të konvertuar me grupe të dhënash publike. Përtej grupeve të të dhënave publike, mund të krijoni detyra vlerësimi të personalizuara duke përdorur të dhënat tuaja dhe metrika specifike. Shihni një shembull detyre të personalizuar për vlerësimin e këtij modeli të rregulluar mirë duke përdorur LLM-as-a-Judge.

uv tool install ai-edge-eval

GEMINI_API_KEY="your_actual_api_key_here"
ai_edge_eval \
  --framework custom \
  --runner litert-lm \
  --model-path /path/to/your/model.litertlm \
  --custom-tasks-file pirate_gemma_custom_task.py \
  --tasks pirate_gemma_eval \
  --output-dir /tmp/results

Hapi 4: Vendosni modelin tuaj lokal në pajisjen tuaj të testimit

Përdorni këto udhëzime të adb për të instaluar modelin që sapo keni ekzekutuar në pajisjen tuaj fizike Android.

adb shell rm -r /data/local/tmp/llm/ # Remove any previously loaded models

adb shell mkdir -p /data/local/tmp/llm/

adb push /tmp/pirate-gemma/model.litertlm  /data/local/tmp/llm/pirate-gemma.litertlm

Hapi 5: Ekzekutoni përfundimin në modelin tuaj të personalizuar me aplikacionin shembull Captain Gemma

Captain Gemma është një aplikacion që demonstron ndërfaqen me modelin në pajisje. Gjejeni në GitHub dhe klononi repozitorin për ta ekzekutuar në Android Studio.

Hapni aplikacionin shembull Captain Gemma dhe ekzekutojeni atë në pajisjen tuaj. Ky është një aplikacion që përdor elementët e Android Compose për të demonstruar ekzekutimin e inferencës në një model të akorduar imët në pajisjen tuaj Android. Aplikacioni merr tekst nga një përdorues dhe kthen mençurinë pirate të modelit të akorduar imët Gemma.

Ekzekutoni aplikacionin në pajisjen tuaj të testimit, ku sapo keni futur skedarin .litertlm . Shkruani në një pyetje dhe shikoni rezultatin e modelit në kutinë e bardhë të të folurit.

Ekrani kryesor i aplikacionit shembull

Kod shembullor

Shihni shembuj të konfigurimit të modelit tuaj dhe ekzekutimit të inferencës me API-të LiteRT-LM në kodin shembullor të Captain Gemma.

Hapi 6: Vendosja e modelit

Pasi të keni përfunduar testimin lokal të modelit tuaj të personalizuar dhe të jeni gati për ta vendosur në sistem, ka mundësi për të strehuar modelin tuaj, të tilla si:

  • Mund ta transferoni skedarin tuaj .litertlm në depon e modelit HuggingFace që keni krijuar më parë dhe ta shkarkoni atë në aplikacionin tuaj duke përdorur API-të e HuggingFace.
  • Mund të përdorni një shërbim hostimi si Firebase, i cili ofron API-të për aplikacionin tuaj për të marrë URL-në e modelit tuaj dhe për ta shkarkuar për Android ose iOS.