Mobil İşlemler için FunctionGemma 270M'yi İyileştirme

Genel Bakış

Mobil İşlemler, kullanıcıların cihazlarında ses veya metin girişiyle işlemleri tetikleyebildiği bir demo uygulamasıdır. Asistan etkileşimini tamamen çevrimdışı bir özellik olarak yeniden tasarlar. "Yarın öğle yemeği için takvim etkinliği oluştur ", "Ahmet'i kişilerime ekle" veya "El fenerini aç" gibi doğal dildeki komutları ayrıştırıp komutu yürütmek için doğru işletim sistemi aracını belirler.

Bu rehberde, aşağıdakileri nasıl yapacağınız açıklanmaktadır:

  1. Mobile Actions veri kümesini kullanarak FunctionGemma 270M modelinde ince ayar yapma
  2. Özelleştirilmiş modeli Google AI Edge Gallery'ye dağıtma

Bir modeli ince ayarlamaktan cihaza dağıtmaya kadar tüm süreci öğrenebileceksiniz.

1. adım: FunctionGemma'yı Mobil İşlemler Veri Kümesi ile ince ayarlama

FunctionGemma, Gemma 3 mimarisine dayalı 270 milyon parametreli bir modeldir. Özellikle işlev çağrıları için eğitildiğinden doğal dil isteklerini işlev çağrılarına çevirebilir.

Bu model, cep telefonunda çalışacak kadar küçük ve verimlidir. Ancak bu boyuttaki modellerde yaygın olduğu gibi, gerçekleştireceği görev için özelleştirmek üzere ince ayar yapılması gerekir.

FunctionGemma'yı hassaslaştırmak için Hugging Face'te herkese açık olarak sunulan Mobile Actions veri kümesini kullanırız. Bu veri kümesindeki her giriş şunları sağlar:

  • Modelin kullanabileceği araçlar (işlevler) grubu:
    1. El fenerini açar.
    2. El fenerini kapatır.
    3. Telefonun kişi listesinde bir kişi oluşturur.
    4. E-posta gönderme
    5. Haritada bir konumu gösterir.
    6. Kablosuz ayarlarını açar.
    7. Yeni bir takvim etkinliği oluşturur.
  • Geçerli tarih ve saat gibi bağlamı sağlayan sistem istemi
  • Kullanıcı istemi (ör. turn on the flashlight).
  • Uygun işlev çağrıları da dahil olmak üzere beklenen model yanıtı.

Haritayı göster işlevinin görünümü aşağıdaki gibidir:

{
  "function": {
    "name": "show_map",
    "description": "Shows a location on the map.",
    "parameters": {
      "type": "OBJECT",
      "properties": {
        "query": {
          "type": "STRING",
          "description": "The location to search for. May be the name of a place, a business, or an address."
        }
      },
      "required": [
        "query"
      ]
    }
  }
}

Colab not defteri, aşağıdakiler de dahil olmak üzere gerekli tüm adımları kapsar:

  • Ortamı ayarlama
  • Mobil İşlemler veri kümesini yükleme ve ön işleme
  • Hugging Face TRL kullanarak modele ince ayar yapma
  • Dağıtım için modeli .litertlm biçimine dönüştürme

Ön koşul: 1. adımda .litertlm dosyasını kaydederken kullandığınız Google Hesabı'na sahip olmanız ve Android telefonunuzda bu hesapla oturum açmış olmanız gerekir.

İnce ayardan sonra model ağırlıklarını .litertlm biçimine dönüştürüp nicelleştiririz.

Load Model simgesini seçip Google Drive'ınızdan (veya alternatif dağıtım yönteminden) modeli belirleyerek Google AI Edge Gallery - Mobile Actions seçeneğine dağıtabilirsiniz. Google AI Edge Gallery, Google Play Store'da mevcuttur.

Google AI Edge Gallery'deki Mobile Actions Finetune Challenge Google AI Edge Gallery'deki Mobil İşlemler görevi

Artık, yeni ince ayarlı modelinizin kendisine sunulan işlevleri ne kadar iyi çağırdığını görmek için uygulamada sesli komut vermeyi veya yazmayı deneyebilirsiniz.

Sonraki Adımlar

Tebrikler! Artık Hugging Face ile bir modeli nasıl ince ayarlayacağınızı ve LiteRT-LM ile cihazda nasıl dağıtacağınızı biliyorsunuz.