راهنمای استنتاج LLM برای اندروید

LLM Inference API به شما امکان می‌دهد مدل‌های زبان بزرگ (LLM) را به‌طور کامل روی دستگاه برای برنامه‌های Android اجرا کنید، که می‌توانید از آنها برای انجام طیف گسترده‌ای از وظایف، مانند تولید متن، بازیابی اطلاعات به زبان طبیعی و خلاصه‌سازی اسناد استفاده کنید. این وظیفه پشتیبانی داخلی از چندین مدل زبان بزرگ متن به متن را ارائه می‌کند، بنابراین می‌توانید آخرین مدل‌های هوش مصنوعی تولیدی روی دستگاه را در برنامه‌های اندروید خود اعمال کنید.

برای افزودن سریع API LLM Inference به برنامه Android خود، Quickstart را دنبال کنید. برای مثالی اساسی از یک برنامه Android که دارای API استنتاج LLM است، به برنامه نمونه مراجعه کنید. برای درک عمیق‌تر نحوه عملکرد API استنتاج LLM، به بخش‌های تنظیمات ، تبدیل مدل و تنظیم LoRA مراجعه کنید.

شما می توانید این کار را با نسخه ی نمایشی MediaPipe Studio مشاهده کنید. برای اطلاعات بیشتر در مورد قابلیت‌ها، مدل‌ها و گزینه‌های پیکربندی این کار، به نمای کلی مراجعه کنید.

شروع سریع

از مراحل زیر برای افزودن API LLM Inference به برنامه اندروید خود استفاده کنید. LLM Inference API برای دستگاه‌های Android سطح بالا، مانند Pixel 8 و Samsung S23 یا جدیدتر، بهینه‌سازی شده است و از شبیه‌سازهای دستگاه پشتیبانی نمی‌کند.

وابستگی ها را اضافه کنید

LLM Inference API از کتابخانه com.google.mediapipe:tasks-genai استفاده می کند. این وابستگی را به فایل build.gradle برنامه اندروید خود اضافه کنید:

dependencies {
    implementation 'com.google.mediapipe:tasks-genai:0.10.22'
}

برای دستگاه‌های دارای Android 12 (API 31) یا بالاتر، وابستگی کتابخانه OpenCL بومی را اضافه کنید. برای اطلاعات بیشتر، به مستندات مربوط به برچسب uses-native-library مراجعه کنید.

تگ های uses-native-library زیر را به فایل AndroidManifest.xml اضافه کنید:

<uses-native-library android:name="libOpenCL.so" android:required="false"/>
<uses-native-library android:name="libOpenCL-car.so" android:required="false"/>
<uses-native-library android:name="libOpenCL-pixel.so" android:required="false"/>

دانلود یک مدل

Gemma-3 1B را با فرمت کوانتیزه ۴ بیتی از Hugging Face دانلود کنید. برای اطلاعات بیشتر در مورد مدل‌های موجود، به مستندات مدل‌ها مراجعه کنید.

محتوای پوشه output_path را به دستگاه Android فشار دهید.

$ adb shell rm -r /data/local/tmp/llm/ # Remove any previously loaded models
$ adb shell mkdir -p /data/local/tmp/llm/
$ adb push output_path /data/local/tmp/llm/model_version.task

Task را راه اندازی کنید

کار را با گزینه های پیکربندی اولیه راه اندازی کنید:

// Set the configuration options for the LLM Inference task
val taskOptions = LlmInferenceOptions.builder()
        .setModelPath('/data/local/tmp/llm/model_version.task')
        .setMaxTopK(64)
        .build()

// Create an instance of the LLM Inference task
llmInference = LlmInference.createFromOptions(context, taskOptions)

Task را اجرا کنید

از متد generateResponse() برای ایجاد پاسخ متنی استفاده کنید. این یک پاسخ تولید شده را ایجاد می کند.

val result = llmInference.generateResponse(inputPrompt)
logger.atInfo().log("result: $result")

برای استریم پاسخ، از متد generateResponseAsync() استفاده کنید.

val options = LlmInference.LlmInferenceOptions.builder()
  ...
  .setResultListener { partialResult, done ->
    logger.atInfo().log("partial result: $partialResult")
  }
  .build()

llmInference.generateResponseAsync(inputPrompt)

نمونه برنامه

برنامه نمونه نمونه ای از یک برنامه تولید متن پایه برای اندروید است که از API LLM Inference استفاده می کند. می‌توانید از برنامه به‌عنوان نقطه شروع برای برنامه اندرویدی خود استفاده کنید یا هنگام تغییر برنامه موجود به آن مراجعه کنید. کد نمونه در GitHub میزبانی می شود.

با استفاده از دستور زیر مخزن git را کلون کنید:

git clone https://github.com/google-ai-edge/mediapipe-samples

پس از ایجاد یک نسخه محلی از کد نمونه، می توانید پروژه را به اندروید استودیو وارد کرده و برنامه را اجرا کنید. برای اطلاعات بیشتر، به راهنمای راه اندازی برای Android مراجعه کنید.

گزینه های پیکربندی

برای راه اندازی یک برنامه اندروید از گزینه های پیکربندی زیر استفاده کنید:

تبدیل مدل

LLM Inference API با انواع مدل های زیر سازگار است که برخی از آنها نیاز به تبدیل مدل دارند. از جدول برای شناسایی روش مراحل مورد نیاز برای مدل خود استفاده کنید.

برای آشنایی با نحوه تبدیل مدل های دیگر، به بخش تبدیل مدل مراجعه کنید.

سفارشی سازی LoRA

API استنتاج LLM از تنظیم LoRA (انطباق با رتبه پایین) با استفاده از کتابخانه PEFT (Parameter-Efficient Fine-Tuning) پشتیبانی می کند. تنظیم LoRA رفتار LLM ها را از طریق یک فرآیند آموزشی مقرون به صرفه سفارشی می کند و مجموعه کوچکی از وزنه های قابل آموزش را بر اساس داده های آموزشی جدید به جای آموزش مجدد کل مدل ایجاد می کند.

LLM Inference API از افزودن وزن‌های LoRA به لایه‌های توجه مدل‌های Gemma-2 2B ، Gemma 2B و Phi-2 پشتیبانی می‌کند. مدل را با فرمت safetensors دانلود کنید.

برای ایجاد وزنه های LoRA، مدل پایه باید در قالب safetensors باشد. بعد از آموزش LoRA می توانید مدل ها را به فرمت FlatBuffers تبدیل کنید تا روی MediaPipe اجرا شوند.

وزنه های LoRA را آماده کنید

از راهنمای روش‌های LoRA از PEFT برای آموزش یک مدل LoRA با تنظیم دقیق در مجموعه داده‌های خود استفاده کنید.

API استنتاج LLM فقط از LoRA در لایه های توجه پشتیبانی می کند، بنابراین فقط لایه های توجه را در LoraConfig مشخص کنید:

# For Gemma
from peft import LoraConfig
config = LoraConfig(
    r=LORA_RANK,
    target_modules=["q_proj", "v_proj", "k_proj", "o_proj"],
)

# For Phi-2
config = LoraConfig(
    r=LORA_RANK,
    target_modules=["q_proj", "v_proj", "k_proj", "dense"],
)

پس از آموزش بر روی مجموعه داده آماده شده و ذخیره مدل، وزن های مدل LoRA با تنظیم دقیق در adapter_model.safetensors موجود است. فایل safetensors نقطه بازرسی LoRA است که در هنگام تبدیل مدل استفاده می شود.

تبدیل مدل

از بسته MediaPipe Python برای تبدیل وزن مدل به فرمت Flatbuffer استفاده کنید. ConversionConfig گزینه های مدل پایه را به همراه گزینه های LoRA اضافی مشخص می کند.

import mediapipe as mp
from mediapipe.tasks.python.genai import converter

config = converter.ConversionConfig(
  # Other params related to base model
  ...
  # Must use gpu backend for LoRA conversion
  backend='gpu',
  # LoRA related params
  lora_ckpt=LORA_CKPT,
  lora_rank=LORA_RANK,
  lora_output_tflite_file=LORA_OUTPUT_FILE,
)

converter.convert_checkpoint(config)

مبدل دو فایل Flatbuffer تولید می کند، یکی برای مدل پایه و دیگری برای مدل LoRA.

استنتاج مدل LoRA

Android از LoRA ایستا در هنگام شروع اولیه پشتیبانی می کند. برای بارگذاری یک مدل LoRA، مسیر مدل LoRA و همچنین پایه LLM را مشخص کنید.

// Set the configuration options for the LLM Inference task
val options = LlmInferenceOptions.builder()
        .setModelPath(BASE_MODEL_PATH)
        .setMaxTokens(1000)
        .setTopK(40)
        .setTemperature(0.8)
        .setRandomSeed(101)
        .setLoraPath(LORA_MODEL_PATH)
        .build()

// Create an instance of the LLM Inference task
llmInference = LlmInference.createFromOptions(context, options)

برای اجرای استنتاج LLM با LoRA، از همان متدهای generateResponse() یا generateResponseAsync() به عنوان مدل پایه استفاده کنید.