راهنمای استنتاج LLM برای اندروید

LLM Inference API به شما امکان می‌دهد مدل‌های زبان بزرگ (LLM) را به‌طور کامل روی دستگاه برای برنامه‌های Android اجرا کنید، که می‌توانید از آنها برای انجام طیف گسترده‌ای از وظایف، مانند تولید متن، بازیابی اطلاعات به زبان طبیعی و خلاصه‌سازی اسناد استفاده کنید. این وظیفه پشتیبانی داخلی از چندین مدل زبان بزرگ متن به متن را ارائه می‌کند، بنابراین می‌توانید آخرین مدل‌های هوش مصنوعی تولیدی روی دستگاه را در برنامه‌های اندروید خود اعمال کنید.

این وظیفه از انواع زیر Gemma پشتیبانی می کند: Gemma-2 2B، Gemma 2B و Gemma 7B. جما خانواده ای از مدل های باز سبک وزن و پیشرفته است که از همان تحقیقات و فناوری استفاده شده برای ساخت مدل های جمینی ساخته شده است. همچنین از مدل های خارجی زیر پشتیبانی می کند: Phi-2 ، Falcon-RW-1B و StableLM-3B .

علاوه بر مدل‌های پشتیبانی‌شده، کاربران می‌توانند از AI Edge Torch Google برای صادر کردن مدل‌های PyTorch به مدل‌های LiteRT ( tflite ) با امضای چندگانه استفاده کنند، که با پارامترهای نشانه‌ساز همراه شده‌اند تا Task Bundle را ایجاد کنند که با API استنتاج LLM سازگار است.

شما می توانید این کار را با نسخه ی نمایشی MediaPipe Studio مشاهده کنید. برای اطلاعات بیشتر در مورد قابلیت‌ها، مدل‌ها و گزینه‌های پیکربندی این کار، به نمای کلی مراجعه کنید.

نمونه کد

این راهنما به مثالی از یک برنامه تولید متن اولیه برای اندروید اشاره دارد. می‌توانید از برنامه به‌عنوان نقطه شروع برای برنامه اندرویدی خود استفاده کنید یا هنگام تغییر برنامه موجود به آن مراجعه کنید. کد نمونه در GitHub میزبانی می شود.

کد را دانلود کنید

دستورالعمل های زیر به شما نشان می دهد که چگونه با استفاده از ابزار خط فرمان git یک کپی محلی از کد مثال ایجاد کنید.

برای دانلود کد نمونه:

1. با استفاده از دستور زیر مخزن git را کلون کنید:

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. به صورت اختیاری، نمونه git خود را برای استفاده از پرداخت پراکنده پیکربندی کنید، بنابراین فقط فایل‌های برنامه نمونه API LLM Inference را داشته باشید:

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/llm_inference/android
   

پس از ایجاد یک نسخه محلی از کد نمونه، می توانید پروژه را به اندروید استودیو وارد کرده و برنامه را اجرا کنید. برای دستورالعمل‌ها، به راهنمای راه‌اندازی برای Android مراجعه کنید.

راه اندازی

این بخش مراحل کلیدی را برای راه اندازی محیط توسعه و پروژه های کد به طور خاص برای استفاده از LLM Inference API توضیح می دهد. برای اطلاعات کلی در مورد تنظیم محیط توسعه خود برای استفاده از وظایف MediaPipe، از جمله الزامات نسخه پلت فرم، به راهنمای راه اندازی برای Android مراجعه کنید.

وابستگی ها

LLM Inference API از کتابخانه com.google.mediapipe:tasks-genai استفاده می کند. این وابستگی را به فایل build.gradle برنامه اندروید خود اضافه کنید:

dependencies {
    implementation 'com.google.mediapipe:tasks-genai:0.10.14'
}

برای دستگاه‌های دارای Android 12 (API 31) یا بالاتر، وابستگی کتابخانه OpenCL بومی را اضافه کنید. برای اطلاعات بیشتر، به مستندات مربوط به برچسب uses-native-library مراجعه کنید.

تگ های uses-native-library زیر را به فایل AndroidManifest.xml اضافه کنید:

<uses-native-library android:name="libOpenCL.so" android:required="false"/>
<uses-native-library android:name="libOpenCL-car.so" android:required="false"/>
<uses-native-library android:name="libOpenCL-pixel.so" android:required="false"/>

مدل

MediaPipe LLM Inference API به یک مدل زبان متن به متن آموزش دیده نیاز دارد که با این کار سازگار باشد. پس از دانلود یک مدل، وابستگی های مورد نیاز را نصب کرده و مدل را به دستگاه اندرویدی فشار دهید. اگر از مدلی غیر از Gemma استفاده می کنید، باید مدل را به فرمت سازگار با MediaPipe تبدیل کنید.

برای اطلاعات بیشتر در مورد مدل‌های آموزش‌دیده موجود برای LLM Inference API، بخش مدل‌های نمای کلی کار را ببینید.

دانلود یک مدل

قبل از راه اندازی API استنتاج LLM، یکی از مدل های پشتیبانی شده را دانلود کنید و فایل را در فهرست پروژه خود ذخیره کنید:

• Gemma-2 2B : آخرین نسخه از خانواده مدل های Gemma. بخشی از یک خانواده از مدل‌های باز سبک وزن و پیشرفته که از همان تحقیقات و فناوری استفاده شده برای ایجاد مدل‌های Gemini ساخته شده‌اند.
• Gemma 2B : بخشی از خانواده مدل‌های باز سبک وزن و پیشرفته که از همان تحقیقات و فناوری استفاده شده برای ساخت مدل‌های Gemini ساخته شده‌اند. برای انواع وظایف تولید متن، از جمله پاسخ به سؤال، خلاصه‌سازی و استدلال مناسب است.
• Phi-2 : مدل ترانسفورماتور با پارامتر 2.7 میلیاردی، بهترین گزینه برای فرمت پرسش-پاسخ، چت و کد.
• Falcon-RW-1B : مدل 1 میلیارد پارامتری فقط رمزگشای علی که روی 350B توکن RefinedWeb آموزش داده شده است.
• StableLM-3B : مدل زبانی فقط رمزگشای 3 میلیارد پارامتری که از قبل بر روی 1 تریلیون توکن مجموعه داده های انگلیسی و کدهای متنوع آموزش داده شده است.

علاوه بر مدل‌های پشتیبانی‌شده، می‌توانید از AI Edge Torch Google برای صادرات مدل‌های PyTorch به مدل‌های LiteRT ( tflite ) با امضای چندگانه استفاده کنید. برای اطلاعات بیشتر، تبدیل Torch Generative برای مدل‌های PyTorch را ببینید.

توصیه می کنیم از Gemma-2 2B استفاده کنید که در Kaggle Models موجود است. برای اطلاعات بیشتر در مورد سایر مدل‌های موجود، به بخش مدل‌های نمای کلی کار مراجعه کنید.

تبدیل مدل به فرمت MediaPipe

LLM Inference API با دو دسته از مدل‌ها سازگار است که برخی از آنها نیاز به تبدیل مدل دارند. از جدول برای شناسایی روش مراحل مورد نیاز برای مدل خود استفاده کنید.

ما فایل‌های .bin تبدیل شده را برای Gemma 2B، Gemma 7B، و Gemma-2 2B در Kaggle میزبانی می‌کنیم. این مدل ها را می توان مستقیماً با استفاده از LLM Inference API ما مستقر کرد. برای آشنایی با نحوه تبدیل مدل های دیگر، به بخش تبدیل مدل مراجعه کنید.

مدل را به دستگاه فشار دهید

محتوای پوشه output_path را به دستگاه Android فشار دهید.

$ adb shell rm -r /data/local/tmp/llm/ # Remove any previously loaded models
$ adb shell mkdir -p /data/local/tmp/llm/
$ adb push output_path /data/local/tmp/llm/model_version.bin

کار را ایجاد کنید

MediaPipe LLM Inference API از تابع createFromOptions() برای تنظیم کار استفاده می کند. تابع createFromOptions() مقادیری را برای گزینه های پیکربندی می پذیرد. برای اطلاعات بیشتر در مورد گزینه های پیکربندی، گزینه های پیکربندی را ببینید.

کد زیر با استفاده از گزینه های پیکربندی اولیه کار را مقداردهی اولیه می کند:

// Set the configuration options for the LLM Inference task
val options = LlmInferenceOptions.builder()
        .setModelPATH('/data/local/.../')
        .setMaxTokens(1000)
        .setTopK(40)
        .setTemperature(0.8)
        .setRandomSeed(101)
        .build()

// Create an instance of the LLM Inference task
llmInference = LlmInference.createFromOptions(context, options)

گزینه های پیکربندی

برای راه اندازی یک برنامه اندروید از گزینه های پیکربندی زیر استفاده کنید:

داده ها را آماده کنید

LLM Inference API ورودی های زیر را می پذیرد:

• prompt (string): یک سوال یا درخواست.

val inputPrompt = "Compose an email to remind Brett of lunch plans at noon on Saturday."

وظیفه را اجرا کنید

از متد generateResponse() برای ایجاد پاسخ متنی به متن ورودی ارائه شده در بخش قبلی ( inputPrompt ) استفاده کنید. این یک پاسخ تولید شده را ایجاد می کند.

val result = llmInference.generateResponse(inputPrompt)
logger.atInfo().log("result: $result")

برای استریم پاسخ، از متد generateResponseAsync() استفاده کنید.

val options = LlmInference.LlmInferenceOptions.builder()
  ...
  .setResultListener { partialResult, done ->
    logger.atInfo().log("partial result: $partialResult")
  }
  .build()

llmInference.generateResponseAsync(inputPrompt)

کنترل و نمایش نتایج

LLM Inference API یک LlmInferenceResult را برمی‌گرداند که شامل متن پاسخ تولید شده است.

Here's a draft you can use:

Subject: Lunch on Saturday Reminder

Hi Brett,

Just a quick reminder about our lunch plans this Saturday at noon.
Let me know if that still works for you.

Looking forward to it!

Best,
[Your Name]

سفارشی سازی مدل LoRA

Mediapipe LLM inference API را می توان برای پشتیبانی از سازگاری با رتبه پایین (LoRA) برای مدل های زبان بزرگ پیکربندی کرد. توسعه دهندگان با استفاده از مدل های LoRA دقیق تنظیم شده می توانند رفتار LLM ها را از طریق یک فرآیند آموزشی مقرون به صرفه سفارشی کنند.

پشتیبانی LoRA از LLM Inference API برای همه انواع Gemma و مدل‌های Phi-2 برای باطن GPU کار می‌کند، با وزن‌های LoRA فقط برای لایه‌های توجه قابل اعمال است. این پیاده‌سازی اولیه به‌عنوان یک API آزمایشی برای پیشرفت‌های آینده با برنامه‌هایی برای پشتیبانی از مدل‌های بیشتر و انواع لایه‌های مختلف در به‌روزرسانی‌های آتی عمل می‌کند.

مدل های LoRA را آماده کنید

دستورالعمل‌های HuggingFace را دنبال کنید تا یک مدل LoRA تنظیم‌شده را روی مجموعه داده‌های خود با انواع مدل‌های پشتیبانی‌شده، Gemma یا Phi-2 آموزش دهید. مدل‌های Gemma-2 2B ، Gemma 2B و Phi-2 هر دو در HuggingFace در قالب محافظ‌های ایمنی موجود هستند. از آنجایی که LLM Inference API فقط از LoRA در لایه های توجه پشتیبانی می کند، در حین ایجاد LoraConfig فقط لایه های توجه را به صورت زیر مشخص کنید:

# For Gemma
from peft import LoraConfig
config = LoraConfig(
    r=LORA_RANK,
    target_modules=["q_proj", "v_proj", "k_proj", "o_proj"],
)

# For Phi-2
config = LoraConfig(
    r=LORA_RANK,
    target_modules=["q_proj", "v_proj", "k_proj", "dense"],
)

برای آزمایش، مدل‌های LoRA با تنظیم دقیق در دسترس عموم و متناسب با LLM Inference API موجود در HuggingFace وجود دارد. به عنوان مثال، monsterapi/gemma-2b-lora-maths-orca-200k برای Gemma-2B و lole25/phi-2-sft-ultrachat-lora برای Phi-2.

پس از آموزش بر روی مجموعه داده آماده شده و ذخیره مدل، یک فایل adapter_model.safetensors حاوی وزن های مدل LoRA تنظیم شده به دست می آورید. فایل Safetensors نقطه بازرسی LoRA است که در تبدیل مدل استفاده می شود.

به عنوان گام بعدی، باید وزن های مدل را با استفاده از بسته MediaPipe Python به یک Flatbuffer Flatbuffer TensorFlow Lite تبدیل کنید. ConversionConfig باید گزینه های مدل پایه و همچنین گزینه های LoRA اضافی را مشخص کند. توجه داشته باشید که از آنجایی که API فقط از استنتاج LoRA با GPU پشتیبانی می کند، backend باید روی 'gpu' تنظیم شود.

import mediapipe as mp
from mediapipe.tasks.python.genai import converter

config = converter.ConversionConfig(
  # Other params related to base model
  ...
  # Must use gpu backend for LoRA conversion
  backend='gpu',
  # LoRA related params
  lora_ckpt=LORA_CKPT,
  lora_rank=LORA_RANK,
  lora_output_tflite_file=LORA_OUTPUT_TFLITE_FILE,
)

converter.convert_checkpoint(config)

مبدل دو فایل فلت بافر TFLite را خروجی می دهد، یکی برای مدل پایه و دیگری برای مدل LoRA.

استنتاج مدل LoRA

Web، Android و iOS LLM Inference API برای پشتیبانی از استنتاج مدل LoRA به روز شده است.

// Set the configuration options for the LLM Inference task
val options = LlmInferenceOptions.builder()
        .setModelPath('<path to base model>')
        .setMaxTokens(1000)
        .setTopK(40)
        .setTemperature(0.8)
        .setRandomSeed(101)
        .setLoraPath('<path to LoRA model>')
        .build()

// Create an instance of the LLM Inference task
llmInference = LlmInference.createFromOptions(context, options)

برای اجرای استنتاج LLM با LoRA، از همان متدهای generateResponse() یا generateResponseAsync() به عنوان مدل پایه استفاده کنید.