Gemma'yı mobil cihazlara dağıtma

Bu belgede, Google AI Edge Gallery uygulaması ve MediaPipe LLM Inference API'nin kullanımı da dahil olmak üzere Gemma modellerini mobil cihazlarda dağıtma ve çalıştırmaya yönelik çeşitli yöntemler ve araçlar açıklanmaktadır.

İnce ayarlı bir Gemma modelini LiteRT sürümüne dönüştürme hakkında bilgi için Dönüştürme Kılavuzu'na bakın.

LLM Inference API'lerinin nasıl çalıştığını görmek ve Task Bundle modelinizi test etmek için Google AI Edge Gallery uygulamasını kullanabilirsiniz. Bu uygulama, cihaz üzerinde LLM'lerle etkileşim kurmak için bir kullanıcı arayüzü sağlar. Bu sayede şunları yapabilirsiniz:

  • Modelleri İçe Aktarma: Özel .task modellerinizi uygulamaya yükleyin.
  • Parametreleri Yapılandırma: Sıcaklık ve üst K gibi ayarları düzenleyin.
  • Metin Oluşturma: İstemleri girin ve modelin yanıtlarını görüntüleyin.
  • Performansı Test Etme: Modelin hızını ve doğruluğunu değerlendirin.

Kendi modellerinizi içe aktarma talimatları da dahil olmak üzere Google AI Edge Gallery uygulamasını kullanmayla ilgili ayrıntılı bir kılavuz için uygulamanın dokümanlarına bakın.

MediaPipe LLM

Gemma modellerini MediaPipe LLM Inference API ile mobil cihazlarda çalıştırabilirsiniz. LLM Inference API, büyük dil modelleri için sarmalayıcı görevi görür. Bu sayede, bilgi alma, e-posta taslağı oluşturma ve belge özetleme gibi yaygın metinden metne üretim görevleri için Gemma modellerini cihazda çalıştırabilirsiniz.

LLM Inference API, aşağıdaki mobil platformlarda kullanılabilir:

Daha fazla bilgi için MediaPipe LLM Inference belgelerine bakın.