Gemini model ailesinin en küçük sürümü olan Gemini Nano, Google Pixel 8 Pro ve Samsung S24 Serisi'nden itibaren uygun Android cihazlarda cihaz üzerinde çalıştırılabilir.
Gemini Nano modelini Android'de çalıştırmak için Android için Google AI Edge SDK'sını kullanmanız gerekir. Bu SDK, aşağıdaki API'leri sağlar:
- Temel Android cihazın desteklenip desteklenmediğini belirleyin.
- Gemini Nano modeline erişin.
- Güvenlik ayarlarını yapın.
- Yüksek performansta çıkarım çalıştırın ve yedek çözümler uygulayın.
- İsteğe bağlı olarak, kullanım alanınız için modelin performansını artırmak üzere bir LoRA hassas ayar bloğu sağlayın.
Gemini Nano'ya erişmek için kullanılan API'ler metinden metne modunu destekler. Gelecekte daha fazla mod desteklenecektir.
Cihaz üzerinde yürütmenin avantajları
Cihaz üzerinde yürütme aşağıdakileri sağlar:
- Hassas verilerin yerel olarak işlenmesi: Verileri yerel olarak işlemek, kullanıcı verilerini buluta göndermekten kaçınmanıza yardımcı olabilir. Bu, uçtan uca şifreleme özelliğine sahip mesajlaşma uygulamaları gibi hassas verilerle çalışan uygulamalar için önemlidir.
- Çevrimdışı erişim: Kullanıcılar internet bağlantısı olmasa bile yapay zeka özelliklerine erişebilir. Bu, çevrimdışı veya değişken bağlantıyla çalışması gereken uygulamalar için kullanışlıdır.
- Maliyet tasarrufu: Yürütme işlemini tüketici donanımına aktararak çıkarım maliyetlerini azaltabilirsiniz. Bu, sık kullanılan kullanıcı akışlarında önemli ölçüde tasarruf sağlayabilir.
Gemini'nin cihaz üzerinde yürütülmesinin birçok avantajı vardır. Ancak daha büyük Gemini modellerinin kullanılmasını gerektiren kullanım alanları ve çok çeşitli cihazları desteklemek için sunucuda Gemini'ye erişmek üzere Gemini API'yi kullanabilirsiniz. Bunu arka uç entegrasyonu (Python, Go, Node.js veya REST ile) veya doğrudan Android uygulamanızdan yeni Android için Google AI istemci SDK'sı aracılığıyla yapabilirsiniz.
İşleyiş şekli
Gemini Nano'nun cihaz üzerinde yürütülmesi, Android 14'te kullanıma sunulan ve cihaz üzerinde yürütme için temel modellere erişim sağlayan yeni bir sistem düzeyinde özellik olan Android AICore tarafından desteklenir. Temel modeller AICore kullanılarak önceden yüklenir. Bu nedenle, bunları uygulamanızda indirmeniz veya dağıtmanız gerekmez. LoRa'yı kullanarak bu modelleri yayın sonrası görevler için hassaslaştırabilirsiniz. Android AICore artık Google Pixel 8 Pro ve Samsung S24 Serisi cihazlarda üretimde kullanılabiliyor ve Google uygulamalarındaki yenilikçi özellikleri destekliyor.
Daha fazla bilgi için Android AICore başlıklı makaleyi inceleyin.
Sırada ne var?
- Android uygulamanızda Google'ın sunucularındaki Gemini Pro çıkarımından nasıl yararlanabileceğinizi öğrenmek için Android için Google AI istemci SDK'sının hızlı başlangıç kılavuzunu okuyun.