دليل استنتاج النموذج اللغوي الكبير

تتيح لك واجهة برمجة التطبيقات LLM Inference API تشغيل النماذج اللغوية الكبيرة (LLM) بالكامل على الجهاز، ويمكنك استخدامها لتنفيذ مجموعة كبيرة من المهام، مثل إنشاء النصوص واسترداد المعلومات بتنسيق لغة طبيعية و تلخيص المستندات. توفّر المهمة دعمًا مضمّنًا لعدة نماذج لغوية كبيرة لتحويل النص إلى نص، ما يتيح لك تطبيق أحدث نماذج الذكاء الاصطناعي التوليدي على الأجهزة فقط على تطبيقاتك ومنتجاتك.

ننصحك بتجربة الميزة.arrow_forward

تتيح المهمة الصيغ التالية من Gemma: Gemma-3 1B وGemma-2 2B وGemma 2B و Gemma 7B. ‫Gemma هي مجموعة من أحدث النماذج المتطوّرة والخفيفة المتاحة للجميع، والتي تم إنشاؤها استنادًا إلى الأبحاث والتكنولوجيا نفسها المستخدَمة في إنشاء نماذج Gemini. وهو متوافق أيضًا مع نماذج الأجهزة الخارجية التالية: Phi-2 وFalcon-RW-1B وStableLM-3B.

بالإضافة إلى النماذج المتوافقة، يمكنك استخدام AI Edge Torch من Google لتصدير نماذج PyTorch إلى نماذج LiteRT (tflite) متعددة التوقيعات، والتي يتم تجميعها مع مَعلمات tokenizer لإنشاء حِزم مهام متوافقة مع واجهة برمجة التطبيقات LLM Inference API. لا يمكن تشغيل النماذج المحوَّلة باستخدام AI Edge Torch إلا في الخلفية على وحدة المعالجة المركزية، وبالتالي يقتصر استخدامها على Android وiOS.

البدء

ابدأ استخدام هذه المهمة باتّباع أحد أدلة التنفيذ هذه ل منصّتك المستهدفة. ترشدك هذه الأدلة الخاصة بالنظام الأساسي إلى تنفيذ أساسي لهذه المهمة، مع أمثلة على الرموز البرمجية التي تستخدِم نموذجًا متاحًا وخيارات الضبط المقترَحة:

• الويب:

  • الدليل
  • مثال على الرمز

• أجهزة Android:

  • الدليل
  • مثال على الرمز

• iOS

  • الدليل
  • مثال على الرمز

تفاصيل المهمة

يصف هذا القسم ميزات هذه المهمة ومدخلاتها ومخرجاتها وخيارات الضبط.

الميزات

تتضمّن واجهة برمجة التطبيقات LLM Inference API الميزات الرئيسية التالية:

1. إنشاء نص من نص: أنشئ نصًا استنادًا إلى طلب نصي للإدخال.
2. اختيار النماذج اللغوية الكبيرة: يمكنك تطبيق نماذج متعددة لتخصيص التطبيق لحالات الاستخدام المحدّدة. يمكنك أيضًا إعادة تدريب النموذج وتطبيق أوزان مخصّصة عليه.
3. إتاحة LoRA: يمكنك توسيع نطاق قدرات النموذج اللغوي الكبير (LLM) وتخصيصها باستخدام نموذج LoRA إما من خلال التدريب على جميع مجموعات البيانات أو استخدام نماذج LoRA prebuilt prebuilt المعدّة مسبقًا من منتدى المصادر المفتوحة (لا تتوافق مع النماذج المحوَّلة باستخدام واجهة برمجة التطبيقات AI Edge Torch Generative API).

خيارات الإعدادات

تتضمّن هذه المهمة خيارات الضبط التالية:

النماذج

تتيح واجهة برمجة التطبيقات LLM Inference API العديد من النماذج اللغوية الكبيرة للترجمة من نص إلى نص، بما في ذلك التوافق المضمّن مع العديد من النماذج المحسّنة للتشغيل على المتصفّحات و الأجهزة الجوّالة. ويمكن استخدام هذه النماذج البسيطة لإجراء الاستنتاجات تمامًا على الجهاز.

قبل بدء واجهة برمجة التطبيقات LLM Inference API، نزِّل نموذجًا واحفظ الملف داخل دليل مشروعك. يمكنك استخدام نموذج تم تحويله مسبقًا أو تحويل ملف نموذج إلى تنسيق متوافق مع MediaPipe.

تتوافق واجهة برمجة التطبيقات LLM Inference API مع الأنواع التالية من النماذج، ويتطلّب بعض هذه الأنواع تحويل النموذج. استخدِم الجدول لتحديد الخطوات المطلوبة الطريقة المناسبة لنموذجك.

لمعرفة كيفية تحويل نماذج أخرى، اطّلِع على القسم تحويل النموذج.

Gemma-3 1B

‫Gemma-3 1B هو أحدث نماذج Gemma، وهي مجموعة من أحدث النماذج المتطوّرة والخفيفة المتاحة للجميع، والتي تم إنشاؤها استنادًا إلى الأبحاث والتكنولوجيا نفسها المستخدَمة في إنشاء نماذج Gemini. يحتوي النموذج على مليار معلَمة ومَعلمات مفتوحة. يُعدّ الإصدار 1B أخفّ طراز في عائلة Gemma، ما يجعله مثاليًا للعديد من حالات الاستخدام على الجهاز.

تنزيل Gemma-3 1B

يتوفّر نموذج Gemma-3 1B من HuggingFace بتنسيق .task، وهو جاهز للاستخدام مع واجهة برمجة التطبيقات LLM Inference API لتطبيقات Android والويب.

عند تشغيل Gemma-3 1B باستخدام واجهة برمجة التطبيقات LLM Inference API، عليك ضبط الخيارات التالية وفقًا لذلك:

• preferredBackend: استخدِم هذا الخيار للاختيار بين CPU أو GPU الخلفي. لا يتوفّر هذا الخيار إلا لأجهزة Android.
• supportedLoraRanks: لا يمكن ضبط واجهة برمجة التطبيقات LLM Inference API لتتوافق مع Low-Rank Adaptation (LoRA) باستخدام نموذج Gemma-3 1B. لا تستخدِم الخيارَين supportedLoraRanks أو loraRanks.
• ‫maxTokens: يجب أن تتطابق قيمة maxTokens مع حجم السياق المضمّن في النموذج. ويمكن أيضًا الإشارة إلى ذلك باسم ذاكرة التخزين المؤقت للمفتاح والقيمة (KV) أو طول السياق.
• numResponses: يجب أن تكون دائمًا 1. لا يتوفّر هذا الخيار إلا على الويب.

عند تشغيل Gemma-3 1B على تطبيقات الويب، يمكن أن تؤدي عملية الإعداد إلى ازدحامٍ طويل في سلسلة المهام الحالية. إذا أمكن، يمكنك دائمًا تشغيل النموذج من سلسلة رسائل معالجة.

Gemma-2 2B

‫Gemma-2 2B هو نموذج من عائلة نماذج Gemma الخفيفة والمتطوّرة والمفتوحة، والتي تم إنشاؤها بالاستناد إلى الأبحاث والتكنولوجيا نفسها المستخدَمة في إنشاء نماذج Gemini. يحتوي النموذج على معلَمات 2B ومَعلمات وزن مفتوحة. تشتهر Gemma-2 2B بمهارات التفكير المتقدّمة التي توفّرها للنماذج في فئتها.

تنزيل Gemma-2 2B

تتوفّر نماذج Gemma-2 2B بالأنواع التالية:

• ‫gemma2-2b-it-cpu-int8: نموذج Gemma-2 2B‏ 8 بت متوافق مع وحدة المعالجة المركزية
• ‫gemma2-2b-it-gpu-int8: نموذج Gemma-2 2B 8 بت متوافق مع وحدة معالجة الرسومات

يمكنك أيضًا ضبط النموذج وإضافة أوزان جديدة قبل إضافته إلى التطبيق. للحصول على مزيد من المعلومات عن ضبط Gemma وتخصيصها، اطّلِع على مقالة ضبط Gemma. بعد تنزيل Gemma-2 2B من نماذج Kaggle، يكون النموذج بالتنسيق المناسب لاستخدامه مع "مهام MediaPipe".

جميلة 2ب

‫Gemma 2B هي جزء من مجموعة من نماذج الحديثة والخفيفة الوزن والمفتوحة المصدر، والتي تم إنشاؤها استنادًا إلى الأبحاث و التكنولوجيا نفسها المستخدَمة في إنشاء نماذج Gemini. يحتوي النموذج على مَعلمات 2B وأوزان مفتوحة. هذا النموذج مناسب تمامًا لأنواع مختلفة من مهام إنشاء النصوص، بما في ذلك الإجابة عن الأسئلة والتلخيص والتفكير.

تنزيل Gemma 2B

تتوفّر طُرز Gemma 2B بالأنواع التالية:

• ‫gemma-2b-it-cpu-int4: نموذج Gemma 2B بسعة 4 بت متوافق مع وحدة المعالجة المركزية.
• ‫gemma-2b-it-cpu-int8: نموذج Gemma 2B بسعة 8 بت ومتوافق مع وحدة المعالجة المركزية
• ‫gemma-2b-it-gpu-int4: نموذج Gemma 2B بسعة 4 بت متوافق مع وحدة معالجة الرسومات
• ‫gemma-2b-it-gpu-int8: نموذج Gemma 2B بسعة 8 بت ومتوافق مع وحدة معالجة الرسومات

يمكنك أيضًا ضبط النموذج وإضافة أوزان جديدة قبل إضافته إلى التطبيق. للحصول على مزيد من المعلومات عن ضبط Gemma وتخصيصها، اطّلِع على مقالة ضبط Gemma. بعد تنزيل Gemma 2B من نماذج Kaggle، يكون النموذج بالتنسيق المناسب لاستخدامه مع "مهام MediaPipe".

جميلة 7ب

Gemma 7B هو نموذج أكبر من نماذج Gemma يتضمّن 7 مليار معلمة وإعدادات مرنة للغة. يُعدّ النموذج أكثر فعالية لمجموعة متنوعة من مهام إنشاء النصوص، بما في ذلك الإجابة عن الأسئلة والتلخيص والاستدلال. لا تتوفّر Gemma 7B إلا على الويب.

تنزيل Gemma 7B

يتوفّر طراز Gemma 7B بخيار واحد:

• ‫gemma-1.1-7b-it-gpu-int8: نموذج Gemma 7B بسعة 8 بت ومتوافق مع وحدة معالجة الرسومات

بعد تنزيل Gemma 7B من نماذج Kaggle، يكون النموذج في التنسيق المناسب لاستخدامه مع MediaPipe.

Falcon 1B

‫Falcon-1B هو نموذج فك ترميز سببي يحتوي على مليار مَعلمة وتم تدريبه على 350 مليار رمز من RefinedWeb.

تنزيل Falcon 1B

تتطلّب واجهة برمجة التطبيقات LLM Inference API تنزيل الملفات التالية وتخزينها على الجهاز:

• tokenizer.json
• tokenizer_config.json
• pytorch_model.bin

بعد تنزيل ملفات نموذج Falcon، يصبح النموذج جاهزًا للتحويل إلى تنسيق MediaPipe باستخدام نص تحويل. اتّبِع الخطوات الواردة في القسم نص برمجي للإحالات الناجحة للنماذج المتوافقة.

StableLM 3B

‫StableLM-3B هو نموذج لغوي لفك الترميز فقط يتضمّن 3 مليارات مَعلمة، وتم تدريبه مسبقًا على تريليون رمز من مجموعات بيانات متنوعة للغة الإنجليزية والرموز البرمجية على مدار 4 دورات تدريبية.

تنزيل أداة StableLM 3B

تتطلّب واجهة برمجة التطبيقات LLM Inference API تنزيل الملفات التالية وتخزينها على الجهاز:

• tokenizer.json
• tokenizer_config.json
• model.safetensors

بعد تنزيل ملفات نموذج StableLM، يصبح النموذج جاهزًا للتحويل إلى تنسيق MediaPipe باستخدام نص تحويل. اتّبِع الخطوات الواردة في القسم نص برمجي للإحالات الناجحة للنماذج المتوافقة.

Phi-2

‫Phi-2 هو نموذج Transformer يتضمّن 2.7 مليار مَعلمة. تم تدريبه باستخدام تقنيات معالجة اللغة الطبيعية (NLP) المختلفة والنصوص الاصطناعية والمواقع الإلكترونية التي تمّت فلترتها. يناسب النموذج بشكلٍ أفضل الطلبات باستخدام تنسيق السؤال والإجابة والمحادثة والرمز البرمجي.

تنزيل Phi-2

تتطلّب واجهة برمجة التطبيقات LLM Inference API تنزيل الملفات التالية وتخزينها على الجهاز:

• tokenizer.json
• tokenizer_config.json
• model-00001-of-00002.safetensors
• model-00002-of-00002.safetensors

بعد تنزيل ملفات نموذج Phi-2، يصبح النموذج جاهزًا للتحويل إلى تنسيق MediaPipe باستخدام نص برمجي للتحويل. اتّبِع الخطوات الواردة في القسم نص برمجي للإحالات الناجحة للنماذج المتوافقة.

نماذج PyTorch التوليدية

يمكن تحويل النماذج التوليدية في PyTorch إلى تنسيق متوافق مع MediaPipe باستخدام واجهة برمجة التطبيقات AI Edge Torch Generative API. يمكنك استخدام واجهة برمجة التطبيقات لتحويل نماذج PyTorch إلى نماذج LiteRT (TensorFlow Lite) متعددة التوقيعات. لمزيد من التفاصيل حول تعيين النماذج وتصديرها، يُرجى الانتقال إلى صفحة GitHub الخاصة بتطبيق AI Edge Torch.

إذا كنت تريد استخدام واجهة برمجة التطبيقات AI Edge Torch Generative API لتحويل نموذج PyTorch ، اتّبِع الخطوات الواردة في قسم محوِّل Torch Generative لنماذج PyTorch.

وضع نماذج للإحالات الناجحة

تتيح لك واجهة برمجة التطبيقات MediaPipe LLM Inference API تشغيل مجموعة كبيرة من نماذج اللغة الكبيرة على الجهاز فقط. ويشمل ذلك النماذج التي تم تحويلها مسبقًا إلى تنسيقٍ متوافق مع MediaPipe، بالإضافة إلى النماذج الأخرى التي يمكن تحويلها باستخدام نص تحويل أو مكتبة AI Edge Torch.

تقبل واجهة برمجة التطبيقات LLM Inference API النماذج بتنسيقَي الملفَين .bin و.task. بشكل عام، ستكون النماذج المحوَّلة مسبقًا والنماذج المحوَّلة باستخدام نص تحويل .bin ملفات، في حين ستكون النماذج المحوَّلة باستخدام مكتبة AI Edge Torch .task ملفات. لا تغيِّر يدويًا تنسيقات الملفات الخاصة بالتصاميم التي تم تحويلها.

تحتوي واجهة برمجة التطبيقات LLM Inference API على ثلاثة مسارات إحالات ناجحة للنموذج:

• النماذج التي تم تحويلها مسبقًا (Gemma-3 1B وGemma-2 2B وGemma 2B وGemma 7B): لا يلزم إجراء عملية تحويل.
• النماذج المتوافقة (Phi-2 وStableLM وFalcon): نص برمجي لتحويل MediaPipe
• نماذج PyTorch الأخرى (جميع نماذج PyTorch LLM): واجهة برمجة التطبيقات AI Edge Torch Generative API

النماذج التي تم تحويلها مسبقًا

تتوفّر نماذج Gemma-2 2B وGemma 2B وGemma 7B كشدود محوَّلة مسبقًا بتنسيق MediaPipe. لا تتطلّب هذه النماذج أي خطوات إضافية لإتمام الإحالة الناجحة من المستخدِم، ويمكن تشغيلها كما هي باستخدام واجهة برمجة التطبيقات LLM Inference API.

يمكنك تنزيل Gemma-2 2B من نماذج Kaggle:

• ‫gemma2-2b-it-cpu-int8: نموذج Gemma-2 2B‏ 8 بت متوافق مع وحدة المعالجة المركزية
• ‫gemma2-2b-it-gpu-int8: نموذج Gemma-2 2B 8 بت متوافق مع وحدة معالجة الرسومات

يمكنك تنزيل صيغ Gemma 2B من نماذج Kaggle:

• ‫gemma-2b-it-cpu-int4: نموذج Gemma 2B بسعة 4 بت متوافق مع وحدة المعالجة المركزية.
• ‫gemma-2b-it-cpu-int8: نموذج Gemma 2B بسعة 8 بت ومتوافق مع وحدة المعالجة المركزية
• ‫gemma-2b-it-gpu-int4: نموذج Gemma 2B بسعة 4 بت متوافق مع وحدة معالجة الرسومات
• ‫gemma-2b-it-gpu-int8: نموذج Gemma 2B بسعة 8 بت متوافق مع وحدة معالجة الرسومات

يمكنك تنزيل Gemma 7B من نماذج Kaggle:

• ‫gemma-1.1-7b-it-gpu-int8: نموذج Gemma 7B بسعة 8 بت ومتوافق مع وحدة معالجة الرسومات

لمزيد من المعلومات عن نماذج Gemma، يُرجى الاطّلاع على المستندات حول Gemma-2 2B وGemma 2B وGemma 7B.

نصّ الإحالة الناجحة للنماذج المتوافقة

توفّر حزمة MediaPipe ملف تحويل نصيًا لتحويل النماذج الخارجية التالية إلى تنسيق متوافق مع MediaPipe:

• Falcon 1B
• StableLM 3B
• Phi-2

لمزيد من المعلومات حول النماذج الخارجية المتوافقة، يُرجى الاطّلاع على المستندات حول Falcon 1B وStableLM 3B وPhi-2.

تتطلّب عملية تحويل النماذج حزمة MediaPipe PyPI. يتوفّر ملف تحويل الترميز في جميع حِزم MediaPipe بعد 0.10.11.

ثبِّت التبعيات واستورِدها باستخدام ما يلي:

$ python3 -m pip install mediapipe

استخدِم مكتبة genai.converter لتحويل النموذج:

import mediapipe as mp
from mediapipe.tasks.python.genai import converter

config = converter.ConversionConfig(
  input_ckpt=INPUT_CKPT,
  ckpt_format=CKPT_FORMAT,
  model_type=MODEL_TYPE,
  backend=BACKEND,
  output_dir=OUTPUT_DIR,
  combine_file_only=False,
  vocab_model_file=VOCAB_MODEL_FILE,
  output_tflite_file=OUTPUT_TFLITE_FILE,
)

converter.convert_checkpoint(config)

لتحويل نموذج LoRA، يجب أن تحدّد ConversionConfig خيارات النموذج الأساسي بالإضافة إلى خيارات LoRA الإضافية. يُرجى العلم أنّه بما أنّ واجهة برمجة التطبيقات تسمح فقط باستخدام الاستنتاج LoRA مع وحدة معالجة الرسومات، يجب ضبط الخلفية على 'gpu'.

import mediapipe as mp
from mediapipe.tasks.python.genai import converter

config = converter.ConversionConfig(
  # Other params related to base model
  ...
  # Must use gpu backend for LoRA conversion
  backend='gpu',
  # LoRA related params
  lora_ckpt=LORA_CKPT,
  lora_rank=LORA_RANK,
  lora_output_tflite_file=LORA_OUTPUT_TFLITE_FILE,
)

converter.convert_checkpoint(config)

سيُنشئ المحوِّل ملفَّي TFLite flatbuffer، أحدهما للنموذج الأساسي والآخر لنموذج LoRA.

محوِّل Torch التوليدي لنماذج PyTorch

يمكن تحويل النماذج التوليدية في PyTorch إلى تنسيق متوافق مع MediaPipe باستخدام واجهة برمجة التطبيقات AI Edge Torch Generative API. يمكنك استخدام واجهة برمجة التطبيقات لإنشاء النماذج اللغوية الكبيرة في PyTorch وتحويلها وتحويلها إلى قيم كمية لاستخدامها مع واجهة برمجة التطبيقات LLM Inference API. لا يحوّل محوِّل Torch Generative سوى وحدة المعالجة المركزية ويتطلب جهاز Linux مزوّدًا بذاكرة وصول عشوائي (RAM) بسعة 64 غيغابايت على الأقل.

تتضمن عملية تحويل نموذج PyTorch باستخدام واجهة برمجة التطبيقات AI Edge Torch Generative API ما يلي:

1. تنزيل نقاط التحقق لنموذج PyTorch
2. استخدِم واجهة برمجة التطبيقات AI Edge Torch Generative API لإنشاء النموذج وتحويله وتحويله إلى تنسيق ملف متوافق مع MediaPipe (.tflite).
3. أنشئ حِزمة مهام (.task) من ملف tflite وبرنامج تقسيم النصوص في النموذج.

لإنشاء حزمة مهام، استخدِم النص البرمجي لعمليات التجميع لإنشاء حزمة مهام. تُجمِّع عملية التجميع النموذج المرتبط مع بيانات وصفية إضافية (مثل مَعلمات أداة تقسيم النصوص) اللازمة لإجراء عملية معالجة ذكية شاملة

تتطلّب عملية تجميع النماذج حزمة MediaPipe PyPI. يتوفّر ملف تحويل الترميز في جميع حِزم MediaPipe بعد 0.10.14.

ثبِّت التبعيات واستورِدها باستخدام ما يلي:

$ python3 -m pip install mediapipe

استخدِم مكتبة genai.bundler لتجميع النموذج:

import mediapipe as mp
from mediapipe.tasks.python.genai import bundler

config = bundler.BundleConfig(
    tflite_model=TFLITE_MODEL,
    tokenizer_model=TOKENIZER_MODEL,
    start_token=START_TOKEN,
    stop_tokens=STOP_TOKENS,
    output_filename=OUTPUT_FILENAME,
    enable_bytes_to_unicode_mapping=ENABLE_BYTES_TO_UNICODE_MAPPING,
)
bundler.create_bundle(config)

تخصيص LoRA

إنّ توافق LoRA مع واجهة برمجة التطبيقات LLM Inference API يعمل مع جميع أنواع Gemma ونماذج Phi-2 لنظام التشغيل الخلفي لوحدة معالجة الرسومات، مع تطبيق أوزان LoRA على طبقات الانتباه فقط. يُعدّ هذا التنفيذ الأولي واجهة برمجة تطبيقات تجريبية للتطويرات القادمة، مع خطط لدعم المزيد من النماذج وأنواع مختلفة من الطبقات في التحديثات القادمة.

إعداد نماذج LoRA

اتّبِع التعليمات الواردة في HuggingFace لتدريب نموذج LoRA محسّن على مجموعة البيانات الخاصة بك باستخدام أنواع النماذج المتوافقة، Gemma أو Phi-2. تتوفّر نماذج Gemma-2 2B وGemma 2B وPhi-2 على منصّة HuggingFace بتنسيق safetensors. بما أنّ واجهة برمجة التطبيقات LLM Inference API لا تتوافق إلا مع LoRA في طبقات الانتباه، حدِّد طبقات الانتباه فقط أثناء إنشاء LoraConfig على النحو التالي:

# For Gemma
from peft import LoraConfig
config = LoraConfig(
    r=LORA_RANK,
    target_modules=["q_proj", "v_proj", "k_proj", "o_proj"],
)

# For Phi-2
config = LoraConfig(
    r=LORA_RANK,
    target_modules=["q_proj", "v_proj", "k_proj", "dense"],
)

للاختبار، تتوفّر نماذج LoRA محسّنة متاحة للجميع تتوافق مع واجهة برمجة التطبيقات LLM Inference API المتوفّرة على HuggingFace. على سبيل المثال، monsterapi/gemma-2b-lora-maths-orca-200k لجهاز Gemma-2B و lole25/phi-2-sft-ultrachat-lora لجهاز Phi-2.

بعد التدريب على مجموعة البيانات المعدّة وحفظ النموذج، ستحصل على ملف adapter_model.safetensors يحتوي على أوزان نموذج LoRA المحسَّنة. ملف safetensors هو نقطة فحص LoRA المستخدَمة في تحويل النموذج.

في الخطوة التالية، عليك تحويل أوزان النموذج إلى تنسيق TensorFlow Lite Flatbuffer باستخدام حزمة MediaPipe Python. يجب أن يحدد ConversionConfig خيارات النموذج الأساسي بالإضافة إلى خيارات LoRA الإضافية. يُرجى العلم أنّه بما أنّ واجهة برمجة التطبيقات لا تتيح استخدام LoRA إلا مع وحدة معالجة الرسومات، يجب ضبط الخلفية على 'gpu'.

import mediapipe as mp
from mediapipe.tasks.python.genai import converter

config = converter.ConversionConfig(
  # Other params related to base model
  ...
  # Must use gpu backend for LoRA conversion
  backend='gpu',
  # LoRA related params
  lora_ckpt=LORA_CKPT,
  lora_rank=LORA_RANK,
  lora_output_tflite_file=LORA_OUTPUT_TFLITE_FILE,
)

converter.convert_checkpoint(config)

سيُنشئ المحوِّل ملفَّي TFLite flatbuffer، أحدهما للنموذج الأساسي والآخر لنموذج LoRA.

استنتاج نموذج LoRA

تم تعديل واجهة برمجة التطبيقات LLM Inference API للويب وAndroid وiOS لتتوافق مع تحليل نماذج LoRA.

// Set the configuration options for the LLM Inference task
val options = LlmInferenceOptions.builder()
        .setModelPath('<path to base model>')
        .setMaxTokens(1000)
        .setTopK(40)
        .setTemperature(0.8)
        .setRandomSeed(101)
        .setLoraPath('<path to LoRA model>')
        .build()

// Create an instance of the LLM Inference task
llmInference = LlmInference.createFromOptions(context, options)

لتنفيذ الاستنتاج بالاستناد إلى نموذج لغوي كبير باستخدام LoRA، استخدِم طريقة generateResponse() أو generateResponseAsync() نفسها المستخدَمة في النموذج الأساسي.