Gemini Nano, versi terkecil dari kelompok model Gemini, dapat dijalankan di perangkat pada perangkat Android yang mendukung, dimulai dengan Google Pixel 8 Pro dan Seri Samsung S24.
Untuk menjalankan model Gemini Nano di Android, Anda harus menggunakan Google AI Edge SDK untuk Android, yang menyediakan API untuk:
- Tentukan apakah perangkat Android pokok didukung.
- Dapatkan akses ke model Gemini Nano.
- Menyesuaikan setelan keamanan.
- Menjalankan inferensi dengan performa tinggi dan menerapkan penggantian.
- Secara opsional, sediakan blok fine-tuning LoRA untuk meningkatkan performa khusus tugas untuk kasus penggunaan Anda.
API untuk mengakses Gemini Nano mendukung modalitas teks-ke-teks, dengan lebih banyak modalitas yang akan datang di masa depan.
Manfaat eksekusi di perangkat
Eksekusi di perangkat memungkinkan hal berikut:
- Pemrosesan lokal data sensitif: Memproses data secara lokal dapat membantu Anda menghindari pengiriman data pengguna ke {i>cloud<i}. Hal ini penting bagi aplikasi yang menangani data sensitif, seperti aplikasi pesan dengan enkripsi end-to-end.
- Akses offline: Pengguna dapat mengakses fitur AI bahkan saat tidak ada koneksi internet. Hal ini berguna untuk aplikasi yang perlu secara offline atau dengan konektivitas variabel.
- Penghematan biaya: Anda dapat mengurangi biaya inferensi dengan mengurangi beban eksekusi ke perangkat keras konsumen. Hal ini dapat menghemat biaya secara signifikan untuk file yang sering digunakan alur pengguna.
Eksekusi Gemini di perangkat memiliki banyak manfaat; Namun, untuk kasus penggunaan yang memerlukan model Gemini yang lebih besar, dan untuk mendukung berbagai jenis perangkat, sebaiknya mempertimbangkan penggunaan Gemini API untuk mengakses Gemini di server. Anda dapat melakukannya melalui integrasi backend (dengan Python, Go, Node.js, atau REST) atau langsung dari aplikasi Android Anda melalui SDK klien AI Google untuk Android.
Cara kerjanya
Eksekusi Gemini Nano di perangkat didukung oleh Android AICore, kemampuan tingkat sistem yang memberikan akses ke model dasar untuk eksekusi, yang diperkenalkan di Android 14. Model dasar sudah diinstal sebelumnya menggunakan AICore, sehingga Anda tidak perlu mendownload atau mendistribusikannya dalam aplikasi. Anda dapat menyesuaikan model ini untuk tugas downstream menggunakan LoRa. Android AICore adalah kini tersedia dalam produksi di perangkat Google Pixel 8 Pro dan Samsung S24 Series dan sudah mendukung fitur inovatif di aplikasi Google.
Untuk mengetahui informasi selengkapnya, lihat Android AICore.
Langkah berikutnya
- Untuk mempelajari cara memanfaatkan inferensi Gemini Pro di server Google di aplikasi Android, baca panduan memulai untuk SDK klien Google AI untuk Android.