LiteRT-LM'ye Genel Bakış

LiteRT-LM, uç cihazlarda yüksek performanslı ve platformlar arası LLM dağıtımları sunmak için tasarlanmış, üretime hazır ve açık kaynaklı bir çıkarım çerçevesidir.

• Platformlar Arası Destek: Android, iOS, Web, masaüstü ve IoT'de (ör. Raspberry Pi) çalışır.
• Donanım Hızlandırma: Çeşitli donanımlarda GPU ve NPU hızlandırıcılarından yararlanarak en yüksek performansı ve sistem kararlılığını elde edin.
• Çok formatlılık: Görüntü ve ses desteği olan LLM'lerle geliştirme yapın.
• Araç Kullanımı: Gelişmiş doğruluk için kısıtlanmış kod çözme ile ajan tabanlı iş akışlarında işlev çağrısı desteği.
• Geniş Model Desteği: Gemma, Llama, Phi-4, Qwen ve daha fazlasını çalıştırın.

Cihaz Üzerinde Üretken Yapay Zeka Gösterimi

Google AI Edge Galerisi, LiteRT-LM kullanılarak tamamen çevrimdışı çalışan cihaz üzerinde üretken yapay zeka özelliklerini sergilemek için tasarlanmış deneysel bir uygulamadır.

• Google Play: Desteklenen Android cihazlarda LLM'leri yerel olarak kullanın.
• App Store: iOS cihazınızda cihaz üzerinde yapay zeka deneyimini yaşayın.
• GitHub Kaynağı: LiteRT-LM'yi kendi projelerinize nasıl entegre edeceğinizi öğrenmek için galeri uygulamasının kaynak kodunu görüntüleyin.

Öne Çıkan Model: Gemma-4-E2B

• Model Boyutu: 2,58 GB

• Diğer teknik ayrıntılar için HuggingFace model kartına bakın.

  Platform (Cihaz)	Arka uç	Önceden doldurma (tk/s)	Kod çözme (tk/sn)	İlk jetona kadar geçen süre (saniye)	En Yüksek CPU Belleği (MB)
  Android (S26 Ultra)	CPU	557	47	1,8	1733
  	GPU	3808	52	0,3	676
  iOS (iPhone 17 Pro)	CPU	532	25	1.9	607
  	GPU	2878	56	0,3	1450
  Linux (Arm 2,3 ve 2,8 GHz, NVIDIA GeForce RTX 4090)	CPU	260	35	4	1628
  	GPU	11234	143	0,1	913
  macOS (MacBook Pro M4)	CPU	901	42	1.1	736
  	GPU	7835	160	0,1	1623
  IoT (Raspberry Pi 5 16GB)	CPU	133	8	7.8	1546

Derlemeye Başlama

Aşağıdaki snippet'lerde LiteRT-LM CLI'yi kullanmaya başlama ve Python, Kotlin ve C++ API'leri hakkında bilgiler yer almaktadır.

litert-lm run model.litertlm --prompt="What is the capital of France?"

engine = litert_lm.Engine("model.litertlm")

with engine.create_conversation() as conversation:
    response = conversation.send_message("What is the capital of France?")
    print(f"Response: {response['content'][0]['text']}")

val engineConfig = EngineConfig(
    modelPath = "/path/to/your/model.litertlm",
    backend = Backend.CPU(),
)

val engine = Engine(engineConfig)
engine.initialize()

val conversation = engine.createConversation()
print(conversation.sendMessage("What is the capital of France?"))  

auto model_assets = ModelAssets::Create(model_path);
CHECK_OK(model_assets);

auto engine_settings = EngineSettings::CreateDefault(
    model_assets,
    /*backend=*/litert::lm::Backend::CPU);

absl::StatusOr<std::unique_ptr<Engine>> engine = Engine::CreateEngine(engine_settings);
CHECK_OK(engine);

auto conversation_config = ConversationConfig::CreateDefault(**engine);
CHECK_OK(conversation_config);
absl::StatusOr<std::unique_ptr<Conversation>> conversation = Conversation::Create(**engine, *conversation_config);
CHECK_OK(conversation);

absl::StatusOr<Message> model_message = (*conversation)->SendMessage(
    JsonMessage{
        {"role", "user"},
        {"content", "What is the capital of France?"}
    });
CHECK_OK(model_message);

std::cout << *model_message << std::endl;

Desteklenen arka uçlar ve platformlar

Desteklenen Modeller

Aşağıdaki tabloda, LiteRT-LM tarafından desteklenen modeller listelenmiştir. Daha ayrıntılı performans rakamları ve model kartları için Hugging Face'teki LiteRT Topluluğu'nu ziyaret edin.

Sorunları Bildirme

Bir hatayla karşılaşırsanız veya özellik isteğinde bulunmak isterseniz LiteRT-LM GitHub Sorunları sayfasından bildirin.