دليل استنتاج النموذج اللغوي الكبير للويب

تتيح لك واجهة برمجة التطبيقات LLM Inference API تشغيل النماذج اللغوية الكبيرة (LLM) بالكامل على browser لتطبيقات الويب، والتي يمكنك استخدامها لتنفيذ مجموعة كبيرة من المهام، مثل إنشاء النصوص واسترداد المعلومات بتنسيق لغة طبيعية وملخص للمستندات. توفّر المهمة دعمًا مضمّنًا لعدة نماذج لغوية كبيرة لتحويل النصوص إلى نصوص، ما يتيح لك تطبيق أحدث نماذج الذكاء الاصطناعي التوليدي على الجهاز فقط على تطبيقات الويب.

تتيح المهمة الصيغ التالية من Gemma: Gemma-2 2B وGemma 2B وGemma 7B. ‫Gemma هي مجموعة من أحدث النماذج المتطوّرة والخفيفة المتاحة للجميع، والتي تم إنشاؤها بناءً على الأبحاث والتكنولوجيا نفسها المستخدَمة في إنشاء نماذج Gemini. وهو متوافق أيضًا مع نماذج الأجهزة الخارجية التالية: Phi-2 وFalcon-RW-1B وStableLM-3B.

يمكنك الاطّلاع على هذه المهمة في العرض التمهيدي لتطبيق MediaPipe Studio. لمزيد من المعلومات عن الإمكانات والنماذج وخيارات الضبط لهذه المهمة، اطّلِع على نظرة عامة.

مثال على الرمز البرمجي

يقدّم مثال التطبيق لواجهة برمجة التطبيقات LLM Inference API تنفيذًا أساسيًا ل هذه المهمة في JavaScript للرجوع إليه. يمكنك استخدام نموذج التطبيق هذا لبدء إنشاء تطبيقك الخاص لإنشاء النصوص.

يمكنك الوصول إلى مثال التطبيق لواجهة برمجة التطبيقات LLM Inference API على GitHub.

ضبط إعدادات الجهاز

يوضّح هذا القسم الخطوات الرئيسية لإعداد بيئة التطوير و مشاريع الرموز البرمجية على وجه التحديد لاستخدام واجهة برمجة التطبيقات LLM Inference API. للحصول على معلومات عامة حول إعداد بيئة التطوير لاستخدام MediaPipe Tasks، بما في ذلك requirements لإصدار النظام الأساسي، يُرجى الاطّلاع على دليل الإعداد لأجل الويب.

توافُق المتصفح

تتطلّب واجهة برمجة التطبيقات LLM Inference API استخدام متصفح ويب متوافق مع WebGPU. للاطّلاع على قائمة كاملة بالمتصفّحات المتوافقة، يُرجى الاطّلاع على توافق المتصفّحات مع وحدة معالجة الرسومات.

حِزم JavaScript

يتوفّر رمز واجهة برمجة التطبيقات Inference API لنموذج لغوي كبير من خلال الحزمة @mediapipe/tasks-genai. يمكنك العثور على هذه المكتبات وتنزيلها من الروابط المقدَّمة في دليل إعداد منصّة التطوير.

ثبِّت الحِزم المطلوبة للنشر على الجهاز المحلي:

npm install @mediapipe/tasks-genai

للنشر على خادم، استخدِم خدمة شبكة توصيل المحتوى (CDN) مثل jsDelivr لإضافة الرمز مباشرةً إلى صفحة HTML:

<head>
  <script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-genai/genai_bundle.cjs"
    crossorigin="anonymous"></script>
</head>

الطراز

تتطلّب واجهة برمجة التطبيقات MediaPipe LLM Inference API نموذجًا مدرَّبًا متوافقًا مع هذه المهمة. بالنسبة إلى تطبيقات الويب، يجب أن يكون النموذج متوافقًا مع وحدة معالجة الرسومات.

لمزيد من المعلومات عن النماذج المدربة المتاحة لواجهة برمجة التطبيقات LLM Inference API، اطّلِع على قسم النماذج ضمن النظرة العامة على المهام.

تنزيل نموذج

قبل بدء واجهة برمجة التطبيقات Inference API لنموذج اللغة الكبيرة، نزِّل أحد النماذج المتوافقة واخزِّن الملف ضمن دليل مشروعك:

  • Gemma-2 2B: أحدث إصدار من مجموعة نماذج Gemma جزء من مجموعة نماذج مفتوحة فائقة التطور وخفيفة الوزن تم إنشاؤها استنادًا إلى الأبحاث وتكنولوجيات المعالجة نفسها المستخدَمة في إنشاء نماذج Gemini.
  • Gemma 2B: يندرج هذا النموذج ضمن مجموعة من أحدث النماذج المتطوّرة والخفيفة المتاحة للجميع، والتي تم إنشاؤها بناءً على الأبحاث والتكنولوجيا نفسها المستخدَمة في إنشاء نماذج Gemini. مناسبة بشكلٍ جيد لمجموعة متنوعة من مهام إنشاء النصوص، بما في ذلك الإجابة عن الأسئلة والتلخيص والاستدلال
  • Phi-2: نموذج تحويل بيانات يضمّ 2.7 مليار مَعلمة، وهو الأنسب لتنسيق طلبات الأسئلة والأجوبة والمحادثات والرموز البرمجية.
  • ‫Falcon-RW-1B: نموذج فريد للمشفّر السببي فقط يتضمّن مليار مَعلمة، وتم تدريبه على 350 مليار رمز مميّز من RefinedWeb.
  • StableLM-3B: نموذج لغة مكوّن من 3 مليار رمز فقط لفك التشفير تم تدريبه مسبقًا على تريليون رمز من مجموعات بيانات متنوعة باللغة الإنجليزية والرموز البرمجية.

بالإضافة إلى النماذج المتوافقة، يمكنك استخدام AI Edge Torch من Google لتصدير نماذج PyTorch إلى نماذج LiteRT (tflite) متعددة التوقيعات. لمزيد من المعلومات، يُرجى الاطّلاع على محوِّل Torch التوليدي لنماذج PyTorch.

ننصحك باستخدام Gemma-2 2B، وهي متاحة على Kaggle Models. لمزيد من المعلومات عن النماذج الأخرى المتاحة، يمكنك الاطّلاع على النظرة العامة على المهمة قسم "النماذج".

تحويل النموذج إلى تنسيق MediaPipe

تتوافق واجهة برمجة التطبيقات LLM Inference API مع نوعَين من الفئات، ويتطلّب بعض هذه الأنواع تحويل النموذج. استخدِم الجدول لتحديد الخطوات المطلوبة الطريقة المناسبة لنموذجك.

النماذج طريقة الإحالة الناجحة الأنظمة الأساسية المتوافقة نوع الملف
الطُرز المتوافقة Gemma 2B وGemma 7B وGemma-2 2B وPhi-2 وStableLM وFalcon MediaPipe Android وiOS والويب ‎.bin
نماذج PyTorch الأخرى جميع نماذج PyTorch LLM مكتبة AI Edge Torch التوليدية Android وiOS ‎.task

نحن نستضيف ملفات .bin المحوَّلة لبيانات Gemma 2B وGemma 7B وGemma-2 2B على Kaggle. ويمكن نشر هذه النماذج مباشرةً باستخدام واجهة برمجة التطبيقات LLM Inference API. للاطّلاع على كيفية تحويل نماذج أخرى، اطّلِع على قسم تحويل النماذج.

إضافة النموذج إلى دليل المشروع

احفظ النموذج في دليل مشروعك:

<dev-project-root>/assets/gemma-2b-it-gpu-int4.bin

حدِّد مسار النموذج باستخدام مَعلمة baseOptions كائن modelAssetPath:

baseOptions: { modelAssetPath: `/assets/gemma-2b-it-gpu-int4.bin`}

أنشئ المهمة.

استخدِم إحدى دوال createFrom...() واجهة برمجة التطبيقات LLM Inference API لإعداد المهمة بهدف تنفيذ الاستنتاجات. يمكنك استخدام الدالة createFromModelPath() مع ملف ملف createFromModelPath() مسار نسبي أو مطلق للنموذج الذي تم تدريبه. يستخدم مثال الرمز البرمجي دالة createFromOptions(). لمزيد من المعلومات حول خيارات الضبط المتاحة، يُرجى الاطّلاع على خيارات الضبط.

يوضّح الرمز التالي كيفية إنشاء هذه المهمة وضبطها:

const genai = await FilesetResolver.forGenAiTasks(
    // path/to/wasm/root
    "https://cdn.jsdelivr.net/npm/@mediapipe/tasks-genai@latest/wasm"
);
llmInference = await LlmInference.createFromOptions(genai, {
    baseOptions: {
        modelAssetPath: '/assets/gemma-2b-it-gpu-int4.bin'
    },
    maxTokens: 1000,
    topK: 40,
    temperature: 0.8,
    randomSeed: 101
});

خيارات الضبط

تتضمّن هذه المهمة خيارات الضبط التالية لتطبيقات الويب وتطبيقات JavaScript:

اسم الخيار الوصف نطاق القيمة القيمة التلقائية
modelPath مسار مكان تخزين النموذج ضمن دليل المشروع. PATH لا ينطبق
maxTokens الحد الأقصى لعدد الرموز المميّزة (رموز الإدخال + رموز الإخراج) التي يعالجها النموذج عدد صحيح 512
topK عدد الرموز التي يأخذها النموذج في الاعتبار في كل خطوة من خطوات الإنشاء حصر التوقّعات بأكبر عدد من الرموز التعبيرية الأكثر احتمالًا عدد صحيح 40
temperature مقدار العشوائية التي تمّ إدخالها أثناء إنشاء النموذج يؤدي تحديد قيمة أعلى لإعداد درجة الحرارة إلى زيادة الإبداع في النص الذي يتم إنشاؤه، في حين يؤدي تحديد قيمة أقل لإعداد درجة الحرارة إلى زيادة إمكانية توقّع النص الذي يتم إنشاؤه. عدد عائم 0.8
randomSeed البذرة العشوائية المستخدَمة أثناء إنشاء النص عدد صحيح 0
loraRanks ترتيبات LoRA التي ستستخدمها نماذج LoRA أثناء التشغيل ملاحظة: لا يتوافق هذا الإجراء إلا مع طُرز وحدة معالجة الرسومات. صفيف الأعداد الصحيحة لا ينطبق

إعداد البيانات

تقبل واجهة برمجة التطبيقات LLM Inference API بيانات النص (string). تعالج المهمة معالجة مقدمات البيانات ، بما في ذلك تقسيم المحتوى إلى وحدات ومعالجة مقدمات مصفوفات Tensor.

تتم معالجة جميع عمليات المعالجة المُسبَقة ضمن دالة generateResponse(). ليس هناك حاجة إلى معالجة مسبقة إضافية للنص الذي يتم إدخاله.

const inputPrompt = "Compose an email to remind Brett of lunch plans at noon on Saturday.";

تنفيذ المهمة

تستخدِم واجهة برمجة التطبيقات LLM Inference API الدالة generateResponse() لبدء الاستنتاجات. بالنسبة إلى تصنيف النصوص، يعني ذلك عرض الفئات المحتمَلة للنص الذي تم إدخاله.

يوضّح الرمز البرمجي التالي كيفية تنفيذ المعالجة باستخدام نموذج مهمة.

const response = await llmInference.generateResponse(inputPrompt);
document.getElementById('output').textContent = response;

لبث الردّ، استخدِم ما يلي:

llmInference.generateResponse(
  inputPrompt,
  (partialResult, done) => {
        document.getElementById('output').textContent += partialResult;
});

معالجة النتائج وعرضها

تعرض واجهة برمجة التطبيقات LLM Inference API سلسلة تتضمّن نص الردّ الذي تم إنشاؤه.

Here's a draft you can use:

Subject: Lunch on Saturday Reminder

Hi Brett,

Just a quick reminder about our lunch plans this Saturday at noon.
Let me know if that still works for you.

Looking forward to it!

Best,
[Your Name]

تخصيص نموذج LoRA

يمكن ضبط واجهة برمجة التطبيقات Mediapipe LLM inference API للتوافق مع تقنية Low-Rank Adaptation (LoRA) للنماذج اللغوية الكبيرة. باستخدام نماذج LoRA المحسّنة، يمكن للمطوّرين تخصيص سلوك النماذج اللغوية الكبيرة من خلال عملية تدريب فعّالة من حيث التكلفة.

إنّ توافق LoRA مع واجهة برمجة التطبيقات LLM Inference API يعمل مع جميع أنواع Gemma ونماذج Phi-2 لنظام التشغيل الخلفي لوحدة معالجة الرسومات، مع تطبيق أوزان LoRA على طبقات الانتباه فقط. يُعدّ هذا التنفيذ الأولي واجهة برمجة تطبيقات تجريبية للتطويرات القادمة، مع خطط لإتاحة المزيد من النماذج وأنواع مختلفة من الطبقات في التحديثات القادمة.

إعداد نماذج LoRA

اتّبِع التعليمات الواردة في HuggingFace لتدريب نموذج LoRA محسّن على مجموعة البيانات الخاصة بك باستخدام أنواع النماذج المتوافقة، Gemma أو Phi-2. يتوفّر كل من نماذج Gemma-2 2B وGemma 2B وPhi-2 على منصّة HuggingFace بتنسيق safetensors. بما أنّ واجهة برمجة التطبيقات LLM Inference API لا تتوافق إلا مع LoRA في طبقات الانتباه، حدِّد طبقات الانتباه فقط أثناء إنشاء LoraConfig على النحو التالي:

# For Gemma
from peft import LoraConfig
config = LoraConfig(
    r=LORA_RANK,
    target_modules=["q_proj", "v_proj", "k_proj", "o_proj"],
)

# For Phi-2
config = LoraConfig(
    r=LORA_RANK,
    target_modules=["q_proj", "v_proj", "k_proj", "dense"],
)

للاختبار، تتوفّر نماذج LoRA محسّنة متاحة للجميع تتوافق مع واجهة برمجة التطبيقات LLM Inference API المتوفّرة على HuggingFace. على سبيل المثال، monsterapi/gemma-2b-lora-maths-orca-200k لجهاز Gemma-2B و lole25/phi-2-sft-ultrachat-lora لجهاز Phi-2.

بعد التدريب على مجموعة البيانات المعدّة وحفظ النموذج، ستحصل على ملف adapter_model.safetensors يحتوي على أوزان نموذج LoRA المحسّنة. ملف safetensors هو نقطة تفتيش LoRA المستخدَمة في تحويل النموذج.

في الخطوة التالية، عليك تحويل أوزان النموذج إلى تنسيق TensorFlow Lite Flatbuffer باستخدام حزمة MediaPipe Python. يجب أن يحدد ConversionConfig خيارات النموذج الأساسي بالإضافة إلى خيارات LoRA الإضافية. يُرجى العلم أنّه بما أنّ واجهة برمجة التطبيقات لا تتيح استخدام LoRA إلا مع وحدة معالجة الرسومات، يجب ضبط الخلفية على 'gpu'.

import mediapipe as mp
from mediapipe.tasks.python.genai import converter

config = converter.ConversionConfig(
  # Other params related to base model
  ...
  # Must use gpu backend for LoRA conversion
  backend='gpu',
  # LoRA related params
  lora_ckpt=LORA_CKPT,
  lora_rank=LORA_RANK,
  lora_output_tflite_file=LORA_OUTPUT_TFLITE_FILE,
)

converter.convert_checkpoint(config)

سيُنشئ المحوِّل ملفَّين من ملفات TFLite flatbuffer، أحدهما للنموذج الأساسي والآخر لنموذج LoRA.

استنتاج نموذج LoRA

تم تعديل واجهة برمجة التطبيقات الخاصة بعملية الاستنتاج في نموذج اللغة الضخمة (LLM) على الويب وAndroid وiOS لتتيح الاستنتاج في نموذج LoRA.

يتيح الويب استخدام بروتوكول LoRA الديناميكي أثناء التشغيل. وهذا يعني أنّ المستخدمين يُعلِنون عن ترتيبات LoRA التي سيتم استخدامها أثناء الإعداد، ويمكنهم تبديل نماذج LoRA المختلفة أثناء التشغيل.

const genai = await FilesetResolver.forGenAiTasks(
    // path/to/wasm/root
    "https://cdn.jsdelivr.net/npm/@mediapipe/tasks-genai@latest/wasm"
);
const llmInference = await LlmInference.createFromOptions(genai, {
    // options for the base model
    ...
    // LoRA ranks to be used by the LoRA models during runtime
    loraRanks: [4, 8, 16]
});

أثناء التشغيل، بعد بدء النموذج الأساسي، حمِّل نماذج LoRA التي سيتم استخدامها. يمكنك أيضًا تفعيل نموذج LoRA من خلال تمرير مرجع نموذج LoRA أثناء توليد ردّ النموذج اللغوي الكبير (LLM).

// Load several LoRA models. The returned LoRA model reference is used to specify
// which LoRA model to be used for inference.
loraModelRank4 = await llmInference.loadLoraModel(loraModelRank4Url);
loraModelRank8 = await llmInference.loadLoraModel(loraModelRank8Url);

// Specify LoRA model to be used during inference
llmInference.generateResponse(
  inputPrompt,
  loraModelRank4,
  (partialResult, done) => {
        document.getElementById('output').textContent += partialResult;
});