Gemini Nano, versi terkecil dari kelompok model Gemini, dapat dijalankan di perangkat di perangkat Android yang mendukung, mulai dari Google Pixel 8 Pro dan Samsung S24 Series.
Untuk menjalankan model Gemini Nano di Android, Anda harus menggunakan Google AI Edge SDK untuk Android, yang menyediakan API untuk:
- Tentukan apakah perangkat berbasis Android yang mendasarinya didukung.
- Dapatkan akses ke model Gemini Nano.
- Sesuaikan setelan keamanan.
- Jalankan inferensi dengan performa tinggi dan implementasikan fallback.
- Secara opsional, sediakan blok fine-tuning LoRA untuk meningkatkan performa model untuk kasus penggunaan Anda.
API untuk mengakses Gemini Nano mendukung modalitas teks-ke-teks, dengan lebih banyak modalitas yang akan datang di masa mendatang.
Manfaat eksekusi di perangkat
Eksekusi di perangkat memungkinkan hal berikut:
- Pemrosesan data sensitif secara lokal: Pemrosesan data secara lokal dapat membantu Anda menghindari pengiriman data pengguna ke cloud. Hal ini penting untuk aplikasi yang menangani data sensitif, seperti aplikasi pesan dengan enkripsi end-to-end.
- Akses offline: Pengguna dapat mengakses fitur AI meskipun tidak ada koneksi internet. Hal ini berguna untuk aplikasi yang perlu bekerja secara offline atau dengan konektivitas variabel.
- Penghematan biaya: Anda dapat mengurangi biaya inferensi dengan mengalihkan eksekusi ke hardware konsumen. Hal ini dapat menghasilkan penghematan signifikan untuk alur penggunaan yang sering digunakan.
Eksekusi Gemini di perangkat memiliki banyak manfaat. Namun, untuk kasus penggunaan yang memerlukan model Gemini yang lebih besar, dan untuk mendukung berbagai perangkat, Anda dapat mempertimbangkan untuk menggunakan Gemini API untuk mengakses Gemini di server. Anda dapat melakukannya melalui integrasi backend (dengan Python, Go, Node.js, atau REST) atau langsung dari aplikasi Android melalui SDK klien Google AI untuk Android yang baru.
Cara kerjanya
Eksekusi Gemini Nano di perangkat didukung oleh Android AICore, yakni kapabilitas tingkat sistem baru yang memberikan akses ke model dasar untuk eksekusi di perangkat, yang diperkenalkan di Android 14. Model dasar sudah diinstal sebelumnya menggunakan AICore, sehingga Anda tidak perlu mendownload atau mendistribusikannya dalam aplikasi. Anda dapat meningkatkan kualitas model ini untuk tugas downstream menggunakan LoRa. Android AICore kini tersedia dalam produksi di perangkat Google Pixel 8 Pro dan Samsung S24 Series dan telah mendukung fitur-fitur inovatif di aplikasi Google.
Untuk informasi selengkapnya, lihat Android AICore.
Langkah selanjutnya
Untuk mulai menggunakan Gemini Nano di perangkat dengan aplikasi Anda, daftar ke Pratinjau Akses Awal kami dari Google AI Edge SDK untuk Android.
Untuk mempelajari cara memanfaatkan inferensi Gemini Pro di server Google di aplikasi Android Anda, baca panduan memulai untuk SDK klien Google AI untuk Android.