دليل استنتاج النموذج اللغوي الكبير لنظام التشغيل Android

تتيح لك واجهة برمجة التطبيقات LLM Inference API تشغيل النماذج اللغوية الكبيرة (LLM) بالكامل على الجهاز لتطبيقات Android، والتي يمكنك استخدامها لتنفيذ مجموعة كبيرة من المهام، مثل إنشاء النصوص واسترداد المعلومات بتنسيق لغة طبيعية وملخّص للمستندات. توفّر المهمة دعمًا مضمّنًا لعدة نماذج لغوية كبيرة لتحويل النص إلى نص، ما يتيح لك تطبيق أحدث نماذج الذكاء الاصطناعي التوليدي على الجهاز على تطبيقات Android.

لإضافة واجهة برمجة التطبيقات LLM Inference API بسرعة إلى تطبيق Android، اتّبِع الخطوات السريعة. للحصول على مثال أساسي على تطبيق Android يعمل باستخدام واجهة برمجة التطبيقات LLM Inference API، يمكنك الاطّلاع على نموذج التطبيق. لفهمٍ عميقٍ أكثر لطريقة عمل واجهة برمجة التطبيقات LLM Inference API، يُرجى الرجوع إلى أقسام خيارات الضبط وتحويل النماذج وضبط LoRA.

يمكنك الاطّلاع على هذه المهمة في العرض التمهيدي لتطبيق MediaPipe Studio. لمزيد من المعلومات عن الإمكانات والنماذج وخيارات الضبط لهذه المهمة، اطّلِع على نظرة عامة.

البدء السريع

اتّبِع الخطوات التالية لإضافة واجهة برمجة التطبيقات LLM Inference API إلى تطبيق Android. تم تحسين واجهة برمجة التطبيقات LLM Inference API لأجهزة Android المتطوّرة، مثل Pixel 8 و Samsung S23 أو الإصدارات الأحدث، ولا تتوافق بشكل موثوق مع محاكيات الأجهزة.

إضافة التبعيات

تستخدِم واجهة برمجة التطبيقات LLM Inference API مكتبة com.google.mediapipe:tasks-genai. أضِف هذه التبعية إلى ملف build.gradle لتطبيق Android:

dependencies {
    implementation 'com.google.mediapipe:tasks-genai:0.10.22'
}

بالنسبة إلى الأجهزة التي تعمل بالإصدار 12 من Android (المستوى 31 من واجهة برمجة التطبيقات) أو إصدار أحدث، أضِف تبعية مكتبة OpenCL المُجمَّعة من رموز برمجية أصلية. لمزيد من المعلومات، يُرجى الاطّلاع على المستندات المتعلّقة بالعلامة uses-native-library.

أضِف علامات uses-native-library التالية إلى ملف AndroidManifest.xml:

<uses-native-library android:name="libOpenCL.so" android:required="false"/>
<uses-native-library android:name="libOpenCL-car.so" android:required="false"/>
<uses-native-library android:name="libOpenCL-pixel.so" android:required="false"/>

تنزيل نموذج

نزِّل Gemma-3 1B بتنسيق كمية 4 بت من Hugging Face. لمزيد من المعلومات عن النماذج المتاحة، اطّلِع على مستندات النماذج.

أرسِل محتوى مجلد output_path إلى جهاز Android.

$ adb shell rm -r /data/local/tmp/llm/ # Remove any previously loaded models
$ adb shell mkdir -p /data/local/tmp/llm/
$ adb push output_path /data/local/tmp/llm/model_version.task

بدء المهمة

ابدأ المهمة باستخدام خيارات الإعداد الأساسية:

// Set the configuration options for the LLM Inference task
val taskOptions = LlmInferenceOptions.builder()
        .setModelPath('/data/local/tmp/llm/model_version.task')
        .setMaxTopK(64)
        .build()

// Create an instance of the LLM Inference task
llmInference = LlmInference.createFromOptions(context, taskOptions)

تنفيذ المهمة

استخدِم الطريقة generateResponse() لإنشاء ردّ نصي. يؤدي ذلك إلى إنشاء ردّ واحد.

val result = llmInference.generateResponse(inputPrompt)
logger.atInfo().log("result: $result")

لبثّ الردّ، استخدِم الطريقة generateResponseAsync().

val options = LlmInference.LlmInferenceOptions.builder()
  ...
  .setResultListener { partialResult, done ->
    logger.atInfo().log("partial result: $partialResult")
  }
  .build()

llmInference.generateResponseAsync(inputPrompt)

نموذج طلب

يمثّل نموذج التطبيق مثالاً على تطبيق أساسي لإنشاء النصوص على أجهزة Android، ويستخدم واجهة برمجة التطبيقات LLM Inference API. يمكنك استخدام التطبيق كنقطة بداية لتطبيق Android الخاص بك، أو الرجوع إليه عند تعديل تطبيق حالي. يتم استضافة مثال الرمز على GitHub.

استنسِخ مستودع git باستخدام الأمر التالي:

git clone https://github.com/google-ai-edge/mediapipe-samples

بعد إنشاء نسخة محلية من رمز المثال، يمكنك استيراد المشروع إلى "استوديو Android" وتشغيل التطبيق. لمزيد من المعلومات، اطّلِع على دليل الإعداد لنظام التشغيل Android.

خيارات الضبط

استخدِم خيارات الضبط التالية لإعداد تطبيق Android:

وضع نماذج للإحالات الناجحة

تتوافق واجهة برمجة التطبيقات LLM Inference API مع الأنواع التالية من النماذج، ويتطلّب بعض هذه الأنواع تحويل النموذج. استخدِم الجدول لتحديد الخطوات المطلوبة الطريقة المناسبة لنموذجك.

لمعرفة كيفية تحويل نماذج أخرى، اطّلِع على القسم تحويل النموذج.

تخصيص LoRA

تتيح واجهة برمجة التطبيقات LLM Inference API ضبط LoRA (التكيّف منخفض الترتيب) باستخدام مكتبة PEFT (الضبط الدقيق الفعال للمعلَمات). تعمل ميزة LoRA على تخصيص سلوك النماذج اللغوية الكبيرة من خلال عملية تدريب ملفتة للتكلفة، ما يؤدي إلى إنشاء مجموعة صغيرة من الأوزان القابلة للتدريب استنادًا إلى بيانات التدريب الجديدة بدلاً من إعادة تدريب النموذج بالكامل.

تتيح واجهة برمجة التطبيقات LLM Inference API إضافة أوزان LoRA إلى طبقات الانتباه في نماذج Gemma-2 2B وGemma 2B و Phi-2. نزِّل النموذج بتنسيق safetensors.

يجب أن يكون النموذج الأساسي بتنسيق safetensors لإنشاء معاملات LoRA. بعد تدريب LoRA، يمكنك تحويل النماذج إلى تنسيق FlatBuffers لتشغيلها على MediaPipe.

إعداد قيم ترجيح LoRA

استخدِم دليل LoRA Methods من PEFT لتدريب نموذج LoRA محسّن على مجموعة البيانات الخاصة بك.

لا تتوافق واجهة برمجة التطبيقات LLM Inference API إلا مع LoRA في طبقات الانتباه، لذا حدِّد فقط طبقات الانتباه في LoraConfig:

# For Gemma
from peft import LoraConfig
config = LoraConfig(
    r=LORA_RANK,
    target_modules=["q_proj", "v_proj", "k_proj", "o_proj"],
)

# For Phi-2
config = LoraConfig(
    r=LORA_RANK,
    target_modules=["q_proj", "v_proj", "k_proj", "dense"],
)

بعد التدريب على مجموعة البيانات المعدّة وحفظ النموذج، تتوفّر أوزان نموذج LoRA المحسَّنة في adapter_model.safetensors. ملف safetensors هو نقطة تفتيش LoRA المستخدَمة أثناء تحويل النموذج.

وضع نماذج للإحالات الناجحة

استخدِم حزمة MediaPipe Python لتحويل أوزان النموذج إلى ملف برمجي بتنسيق Flatbuffer. تحدّد السمة ConversionConfig خيارات النموذج الأساسي بالإضافة إلى خيارات LoRA الإضافية.

import mediapipe as mp
from mediapipe.tasks.python.genai import converter

config = converter.ConversionConfig(
  # Other params related to base model
  ...
  # Must use gpu backend for LoRA conversion
  backend='gpu',
  # LoRA related params
  lora_ckpt=LORA_CKPT,
  lora_rank=LORA_RANK,
  lora_output_tflite_file=LORA_OUTPUT_FILE,
)

converter.convert_checkpoint(config)

سيُنشئ المحوِّل ملفي Flatbuffer، أحدهما للنموذج الأساسي و الآخر لنموذج LoRA.

استنتاج نموذج LoRA

يتوافق Android مع بروتوكول LoRA الثابت أثناء الإعداد. لتحميل نموذج LoRA، حدِّد مسار نموذج LoRA بالإضافة إلى نموذج LLM الأساسي.

// Set the configuration options for the LLM Inference task
val options = LlmInferenceOptions.builder()
        .setModelPath(BASE_MODEL_PATH)
        .setMaxTokens(1000)
        .setTopK(40)
        .setTemperature(0.8)
        .setRandomSeed(101)
        .setLoraPath(LORA_MODEL_PATH)
        .build()

// Create an instance of the LLM Inference task
llmInference = LlmInference.createFromOptions(context, options)

لتنفيذ الاستنتاج بالاستناد إلى نموذج لغوي كبير باستخدام LoRA، استخدِم طريقة generateResponse() أو generateResponseAsync() نفسها المستخدَمة في النموذج الأساسي.