Android'de (cihazda) Gemini Nano'yu kullanmaya başlama

Gemini model ailesinin en küçük sürümü olan Gemini Nano, Pixel 8 Pro'dan itibaren uygun olan Android cihazlarda cihaz üzerinde yürütülebilir.

Android'de Gemini Nano modelini yürütmek için Android için Google AI Edge SDK'sını kullanmanız gerekir. Bu SDK, aşağıdaki işlemleri gerçekleştirmek için API'ler sağlar:

  • Temel Android destekli cihazın desteklenip desteklenmediğini belirleyin.
  • Gemini Nano modeline erişim elde edin.
  • Güvenlik ayarlarını düzenleyin.
  • Yüksek performansta çıkarım çalıştırın ve yedekler uygulayın.
  • İsteğe bağlı olarak, kullanım alanınız için modelin performansını iyileştirmek üzere bir LoRA hassas ayar bloğu sağlayabilirsiniz.

Gemini Nano'ya erişmek için kullanılan API'ler, metinden metne yöntemini desteklemektedir. Gelecekte daha fazla özellik kullanıma sunulacaktır.

Cihaz üzerinde yürütmenin avantajları

Cihaz üzerinde yürütme aşağıdakileri sağlar:

  • Hassas verilerin yerel olarak işlenmesi: Verilerin yerel olarak işlenmesi, kullanıcı verilerinin buluta gönderilmesini önlemenize yardımcı olabilir. Bu özellik, uçtan uca şifrelemeli mesajlaşma uygulamaları gibi hassas verileri işleyen uygulamalar için önemlidir.
  • Çevrimdışı erişim: Kullanıcılar, internet bağlantısı olmasa bile AI özelliklerine erişebilir. Bu, çevrimdışı veya değişken bağlantıyla çalışması gereken uygulamalar için yararlıdır.
  • Maliyet tasarrufu: Yürütmeyi tüketici donanımına boşaltarak çıkarım maliyetlerini azaltabilirsiniz. Bu sayede, sık kullanılan kullanıcı akışlarında önemli tasarruflar sağlayabilirsiniz.

Gemini'ın cihazda yürütülmesinin birçok avantajı vardır. Ancak, daha büyük Gemini modelleri gerektiren ve çok çeşitli cihazları destekleyen kullanım alanlarında, Gemini'a sunucuda erişmek için Gemini API'yi kullanabilirsiniz. Bu işlemi arka uç entegrasyonuyla (Python, Go, Node.js veya REST ile) ya da yeni Android için Google AI istemci SDK'sı aracılığıyla doğrudan Android uygulamanızdan yapabilirsiniz.

İşleyiş şekli

Gemini Nano'nun cihazda yürütme özelliği, Android 14'te kullanıma sunulan ve cihaz üzerinde yürütme için temel modellere erişim sağlayan, sistem düzeyindeki yeni bir özellik olan Android AICore tarafından desteklenmektedir. Temel modeller AICore ile önceden yüklenir. Böylece bunları uygulamanızın içinde indirmeniz veya dağıtmanız gerekmez. Bu modellerde LoRa'yı kullanarak aşağı doğru görevler için ince ayar yapabilirsiniz. Android AICore, artık Pixel 8 Pro cihazlarda üretimde kullanılabiliyor ve şimdiden Google uygulamalarındaki yenilikçi özellikleri destekliyor.

Daha fazla bilgi için Android AICore'a bakın.

AICore mimarisi
Şekil 1. AICore mimarisi

Sırada ne var?