LiteRT-LM'ye Genel Bakış

LiteRT-LM, uç cihazlarda yüksek performanslı ve platformlar arası LLM dağıtımları sunmak için tasarlanmış, üretime hazır ve açık kaynaklı bir çıkarım çerçevesidir.

• Platformlar Arası Destek: Android, iOS, Web, masaüstü ve IoT'de (ör. Raspberry Pi) çalışır.
• Donanım Hızlandırma: Çeşitli donanımlarda GPU ve NPU hızlandırıcılarından yararlanarak en yüksek performansı ve sistem kararlılığını elde edin.
• Çok formatlılık: Görüntü ve ses desteği olan LLM'lerle geliştirme yapın.
• Araç Kullanımı: Gelişmiş doğruluk için kısıtlanmış kod çözme ile ajan tabanlı iş akışlarında işlev çağrısı desteği.
• Geniş Model Desteği: Gemma, Llama, Phi-4, Qwen ve daha fazlasını çalıştırın.

Cihaz Üzerinde Üretken Yapay Zeka Gösterimi

Google AI Edge Galerisi, LiteRT-LM kullanılarak tamamen çevrimdışı çalışan cihaz üzerinde üretken yapay zeka özelliklerini sergilemek için tasarlanmış deneysel bir uygulamadır.

• Google Play: Desteklenen Android cihazlarda LLM'leri yerel olarak kullanın.
• App Store: iOS cihazınızda cihaz üzerinde yapay zeka deneyimini yaşayın.
• GitHub Kaynağı: LiteRT-LM'yi kendi projelerinize nasıl entegre edeceğinizi öğrenmek için galeri uygulamasının kaynak kodunu görüntüleyin.

Öne çıkan model: Gemma-3n-E2B

Derlemeye Başlama

Aşağıdaki snippet'lerde LiteRT-LM CLI'yi kullanmaya başlama ve Python, Kotlin ve C++ API'leri hakkında bilgiler yer almaktadır.

litert-lm run model.litertlm --prompt="What is the capital of France?"

engine = litert_lm.Engine("model.litertlm")

with engine.create_conversation() as conversation:
    response = conversation.send_message("What is the capital of France?")
    print(f"Response: {response['content'][0]['text']}")

val engineConfig = EngineConfig(
    modelPath = "/path/to/your/model.litertlm",
    backend = Backend.CPU(),
)

val engine = Engine(engineConfig)
engine.initialize()

val conversation = engine.createConversation()
print(conversation.sendMessage("What is the capital of France?"))  

auto model_assets = ModelAssets::Create(model_path);
CHECK_OK(model_assets);

auto engine_settings = EngineSettings::CreateDefault(
    model_assets,
    /*backend=*/litert::lm::Backend::CPU);

absl::StatusOr<std::unique_ptr<Engine>> engine = Engine::CreateEngine(engine_settings);
CHECK_OK(engine);

auto conversation_config = ConversationConfig::CreateDefault(**engine);
CHECK_OK(conversation_config);
absl::StatusOr<std::unique_ptr<Conversation>> conversation = Conversation::Create(**engine, *conversation_config);
CHECK_OK(conversation);

absl::StatusOr<Message> model_message = (*conversation)->SendMessage(
    JsonMessage{
        {"role", "user"},
        {"content", "What is the capital of France?"}
    });
CHECK_OK(model_message);

std::cout << *model_message << std::endl;

Desteklenen arka uçlar ve platformlar

Desteklenen Modeller

Aşağıdaki tabloda, LiteRT-LM tarafından desteklenen modeller listelenmiştir. Daha ayrıntılı performans rakamları ve model kartları için Hugging Face'teki LiteRT Topluluğu'nu ziyaret edin.

Sorunları Bildirme

Bir hatayla karşılaşırsanız veya özellik isteğinde bulunmak isterseniz LiteRT-LM GitHub Sorunları sayfasından bildirin.