نظرة عامة على LiteRT-LM

‫LiteRT-LM هو إطار عمل للاستنتاج جاهز للاستخدام ومفتوح المصدر ومصمّم لتقديم عمليات نشر نماذج لغوية كبيرة (LLM) عالية الأداء ومتوافقة مع عدة منصات على الأجهزة الطرفية.

• التوافق مع أنظمة التشغيل المختلفة: يمكن تشغيل التطبيق على Android وiOS والويب وأجهزة الكمبيوتر المكتبي وأجهزة إنترنت الأشياء (IoT) (مثل Raspberry Pi).
• تسريع الأجهزة: يمكنك الحصول على أعلى مستوى من الأداء وثبات النظام من خلال الاستفادة من مسرّعات وحدة معالجة الرسومات (GPU) ووحدة المعالجة العصبية (NPU) على مستوى الأجهزة المتنوعة.
• تعدّد الوسائط: يمكنك إنشاء تطبيقات باستخدام نماذج لغوية كبيرة تتوافق مع الصور والفيديوهات.
• استخدام الأدوات: إتاحة استخدام وظيفة الاتصال في مهام سير العمل المستندة إلى الذكاء الاصطناعي الوكيل مع فك ترميز محدود لتحسين الدقة.
• التوافق مع مجموعة واسعة من النماذج: يمكنك تشغيل Gemma وLlama وPhi-4 وQwen وغيرها.

معرض نماذج الذكاء الاصطناعي التوليدي على الجهاز

معرض Google AI Edge هو تطبيق تجريبي مصمّم لعرض إمكانات الذكاء الاصطناعي التوليدي على الجهاز فقط، والتي تعمل بالكامل بلا إنترنت باستخدام LiteRT-LM.

• Google Play: يمكنك استخدام نماذج اللغات الكبيرة محليًا على أجهزة Android المتوافقة.
• متجر التطبيقات: يمكنك تجربة الذكاء الاصطناعي على جهاز iOS فقط.
• مصدر GitHub: يمكنك الاطّلاع على الرمز المصدري لتطبيق المعرض لمعرفة كيفية دمج LiteRT-LM في مشاريعك.

الطراز المميز: Gemma-3n-E2B

بدء التطوير

توضّح المقتطفات التالية كيفية بدء استخدام واجهة سطر الأوامر LiteRT-LM، بالإضافة إلى واجهات برمجة التطبيقات Python وKotlin وC++.

litert-lm run model.litertlm --prompt="What is the capital of France?"

engine = litert_lm.Engine("model.litertlm")

with engine.create_conversation() as conversation:
    response = conversation.send_message("What is the capital of France?")
    print(f"Response: {response['content'][0]['text']}")

val engineConfig = EngineConfig(
    modelPath = "/path/to/your/model.litertlm",
    backend = Backend.CPU(),
)

val engine = Engine(engineConfig)
engine.initialize()

val conversation = engine.createConversation()
print(conversation.sendMessage("What is the capital of France?"))  

auto model_assets = ModelAssets::Create(model_path);
CHECK_OK(model_assets);

auto engine_settings = EngineSettings::CreateDefault(
    model_assets,
    /*backend=*/litert::lm::Backend::CPU);

absl::StatusOr<std::unique_ptr<Engine>> engine = Engine::CreateEngine(engine_settings);
CHECK_OK(engine);

auto conversation_config = ConversationConfig::CreateDefault(**engine);
CHECK_OK(conversation_config);
absl::StatusOr<std::unique_ptr<Conversation>> conversation = Conversation::Create(**engine, *conversation_config);
CHECK_OK(conversation);

absl::StatusOr<Message> model_message = (*conversation)->SendMessage(
    JsonMessage{
        {"role", "user"},
        {"content", "What is the capital of France?"}
    });
CHECK_OK(model_message);

std::cout << *model_message << std::endl;

الأنظمة الخلفية والمنصات المتوافقة

النماذج المتوافقة

يسرد الجدول التالي النماذج المتوافقة مع LiteRT-LM. للاطّلاع على أرقام الأداء وبطاقات النماذج الأكثر تفصيلاً، يُرجى الانتقال إلى منتدى LiteRT على Hugging Face.

الإبلاغ عن المشاكل

إذا واجهت خطأً أو كان لديك طلب ميزة، يمكنك الإبلاغ عنه في مشاكل LiteRT-LM على GitHub.