Gemini Nano, versi terkecil dari keluarga model Gemini, dapat dijalankan di perangkat pada perangkat Android yang kompatibel, mulai dari Google Pixel 8 Pro dan Seri Samsung S24.
Untuk menjalankan model Gemini Nano di Android, Anda perlu menggunakan Google AI Edge SDK for Android, yang menyediakan API untuk:
- Tentukan apakah perangkat yang didukung Android yang mendasarinya didukung.
- Dapatkan akses ke model Gemini Nano.
- Sesuaikan setelan keamanan.
- Jalankan inferensi dengan performa tinggi dan terapkan penggantian.
- Secara opsional, berikan blok penyesuaian LoRA untuk meningkatkan performa model untuk kasus penggunaan Anda.
API untuk mengakses Gemini Nano mendukung modalitas teks ke teks, dengan lebih banyak modalitas yang akan hadir di masa mendatang.
Manfaat eksekusi di perangkat
Eksekusi di perangkat memungkinkan hal berikut:
- Pemrosesan data sensitif secara lokal: Pemrosesan data secara lokal dapat membantu Anda menghindari pengiriman data pengguna ke cloud. Hal ini penting untuk aplikasi yang menangani data sensitif, seperti aplikasi pesan dengan enkripsi menyeluruh.
- Akses offline: Pengguna dapat mengakses fitur AI meskipun tidak ada koneksi internet. Hal ini berguna untuk aplikasi yang perlu berfungsi offline atau dengan konektivitas variabel.
- Penghematan biaya: Anda dapat mengurangi biaya inferensi dengan memindahkan eksekusi ke hardware konsumen. Hal ini dapat menghasilkan penghematan yang signifikan untuk alur pengguna yang sering digunakan.
Eksekusi Gemini di perangkat memiliki banyak manfaat; namun, untuk kasus penggunaan yang memerlukan model Gemini yang lebih besar, dan untuk mendukung berbagai perangkat, sebaiknya Anda mempertimbangkan untuk menggunakan Gemini API untuk mengakses Gemini di server. Anda dapat melakukannya melalui integrasi backend (dengan Python, Go, Node.js, atau REST) atau langsung dari aplikasi Android melalui SDK klien Google AI untuk Android yang baru.
Cara kerjanya
Eksekusi Gemini Nano di perangkat didukung oleh Android AICore, kemampuan level sistem baru yang memberikan akses ke model dasar untuk eksekusi di perangkat, yang diperkenalkan di Android 14. Model dasar telah diprainstal menggunakan AICore, sehingga Anda tidak perlu mendownload atau mendistribusikannya dalam aplikasi. Anda dapat menyesuaikan model ini untuk tugas downstream menggunakan LoRa. Android AICore kini tersedia dalam produksi di perangkat Google Pixel 8 Pro dan Samsung S24 Series dan telah mendukung fitur inovatif di aplikasi Google.
Untuk informasi selengkapnya, lihat Android AICore.
Langkah berikutnya
- Untuk mempelajari cara memanfaatkan inferensi Gemini Pro di server Google di aplikasi Android Anda, baca panduan memulai SDK klien Google AI untuk Android.