نظرة عامة على LiteRT-LM

‫LiteRT-LM هو إطار عمل استنتاج مفتوح المصدر وجاهز للاستخدام في بيئات الإنتاج، وهو مصمَّم لنشر نماذج لغوية كبيرة (LLM) عالية الأداء ومتعدّدة الأنظمة الأساسية على الأجهزة الطرفية.

• التوافق مع الأنظمة الأساسية المتعدّدة: يمكن تشغيله على أجهزة Android وiOS والويب وأجهزة الكمبيوتر المكتبي وأجهزة إنترنت الأشياء (IoT) (مثل Raspberry Pi).
• التسريع على مستوى الأجهزة: يمكنك الحصول على أعلى مستوى من الأداء وثبات النظام من خلال الاستفادة من مسرّعات وحدة معالجة الرسومات (GPU) ووحدة المعالجة العصبية (NPU) على أجهزة متنوّعة.
• تعدّد الوسائط: يمكنك إنشاء نماذج لغوية كبيرة (LLM) تتوافق مع الصور والفيديوهات والأصوات.
• استخدام الأدوات: تتوفّر ميزة استدعاء الدوال لسير العمل المستند إلى الذكاء الاصطناعي الوكيل مع فك ترميز محدود لتحسين الدقة.
• التوافق مع مجموعة واسعة من النماذج: يمكنك تشغيل نماذج Gemma وLlama وPhi-4 وQwen وغيرها.

عرض نماذج الذكاء الاصطناعي التوليدي على الجهاز

معرض Google AI Edge هو تطبيق تجريبي مصمَّم لعرض إمكانات الذكاء الاصطناعي التوليدي على الجهاز فقط، والتي تعمل بالكامل بلا إنترنت باستخدام LiteRT-LM.

• **Google Play**: يمكنك استخدام النماذج اللغوية الكبيرة (LLM) محليًا على أجهزة Android المتوافقة.
• **متجر التطبيقات**: يمكنك تجربة الذكاء الاصطناعي على الجهاز فقط على جهاز iOS.
• **مصدر GitHub**: يمكنك الاطّلاع على رمز المصدر لتطبيق المعرض لمعرفة كيفية دمج LiteRT-LM في مشاريعك الخاصة.

النموذج المميّز: Gemma-4-E2B

• حجم النموذج: 2.58 غيغابايت

• تتوفر التفاصيل الفنية الإضافية في بطاقة نموذج HuggingFace

  النظام الأساسي (الجهاز)	الخلفية	الملء المسبق (عدد الرموز/الثانية)	فك الترميز (عدد الرموز/الثانية)	الوقت حتى ظهور الرمز الأول (بالثواني)	الحد الأقصى لذاكرة وحدة المعالجة المركزية (بالميغابايت)
  ‫Android (S26 Ultra)	وحدة معالجة مركزية (CPU)	557	47	1.8	1733
  	وحدة معالجة الرسومات (GPU)	3808	52	0.3	676
  ‫iOS (iPhone 17 Pro)	وحدة معالجة مركزية (CPU)	532	25	1.9	607
  	وحدة معالجة الرسومات (GPU)	2878	56	0.3	1450
  ‫Linux (Arm 2.3 و2.8 غيغاهرتز، NVIDIA GeForce RTX 4090)	وحدة معالجة مركزية (CPU)	260	35	4	1628
  	وحدة معالجة الرسومات (GPU)	11234	143	0.1	913
  ‫macOS (MacBook Pro M4)	وحدة معالجة مركزية (CPU)	901	42	1.1	736
  	وحدة معالجة الرسومات (GPU)	7835	160	0.1	1623
  ‫إنترنت الأشياء (Raspberry Pi 5 16GB)	وحدة معالجة مركزية (CPU)	133	8	7.8	1546

بدء التطوير

تعرض المقتطفات التالية كيفية بدء استخدام واجهة سطر الأوامر (CLI) في LiteRT-LM، بالإضافة إلى واجهات برمجة تطبيقات Python وKotlin وC++‎.

litert-lm run model.litertlm --prompt="What is the capital of France?"

engine = litert_lm.Engine("model.litertlm")

with engine.create_conversation() as conversation:
    response = conversation.send_message("What is the capital of France?")
    print(f"Response: {response['content'][0]['text']}")

val engineConfig = EngineConfig(
    modelPath = "/path/to/your/model.litertlm",
    backend = Backend.CPU(),
)

val engine = Engine(engineConfig)
engine.initialize()

val conversation = engine.createConversation()
print(conversation.sendMessage("What is the capital of France?"))  

auto model_assets = ModelAssets::Create(model_path);
CHECK_OK(model_assets);

auto engine_settings = EngineSettings::CreateDefault(
    model_assets,
    /*backend=*/litert::lm::Backend::CPU);

absl::StatusOr<std::unique_ptr<Engine>> engine = Engine::CreateEngine(engine_settings);
CHECK_OK(engine);

auto conversation_config = ConversationConfig::CreateDefault(**engine);
CHECK_OK(conversation_config);
absl::StatusOr<std::unique_ptr<Conversation>> conversation = Conversation::Create(**engine, *conversation_config);
CHECK_OK(conversation);

absl::StatusOr<Message> model_message = (*conversation)->SendMessage(
    JsonMessage{
        {"role", "user"},
        {"content", "What is the capital of France?"}
    });
CHECK_OK(model_message);

std::cout << *model_message << std::endl;

الأنظمة الأساسية والخلفيات المتوافقة

النماذج المتوافقة

يسرد الجدول التالي النماذج المتوافقة مع LiteRT-LM. للاطّلاع على أرقام الأداء وبطاقات النماذج الأكثر تفصيلاً ، يُرجى الانتقال إلى منتدى LiteRT على Hugging Face.

الإبلاغ عن المشاكل

إذا واجهت خطأً أو كان لديك طلب ميزة، يُرجى الإبلاغ عنه في قسم المشاكل في مستودع LiteRT-LM على GitHub.