Mulai menggunakan Gemini Nano di Android (di perangkat)

Gemini Nano, versi terkecil dari kelompok model Gemini, dapat dijalankan di perangkat pada perangkat Android yang mendukung mulai dari Pixel 8 Pro.

Untuk menjalankan model Gemini Nano di Android, Anda harus menggunakan Google AI Edge SDK untuk Android, yang menyediakan API untuk:

  • Tentukan apakah perangkat berbasis Android didukung.
  • Mendapatkan akses ke model Gemini Nano.
  • Sesuaikan setelan keamanan.
  • Menjalankan inferensi pada performa tinggi dan mengimplementasikan fallback.
  • Secara opsional, sediakan blok fine-tuning LoRA untuk meningkatkan performa model untuk kasus penggunaan Anda.

API untuk mengakses Gemini Nano mendukung modalitas teks-ke-teks, dengan lebih banyak modalitas yang akan hadir di masa mendatang.

Manfaat eksekusi di perangkat

Eksekusi di perangkat memungkinkan hal berikut:

  • Pemrosesan data sensitif secara lokal: Pemrosesan data secara lokal dapat membantu Anda menghindari pengiriman data pengguna ke cloud. Hal ini penting untuk aplikasi yang menangani data sensitif, seperti aplikasi pesan dengan enkripsi end-to-end.
  • Akses offline: Pengguna dapat mengakses fitur AI meskipun tidak ada koneksi internet. Fitur ini berguna untuk aplikasi yang perlu bekerja secara offline atau dengan konektivitas variabel.
  • Penghematan biaya: Anda dapat mengurangi biaya inferensi dengan mengalihkan eksekusi ke hardware konsumen. Hal ini dapat menghasilkan penghematan yang signifikan untuk alur pengguna yang sering digunakan.

Eksekusi Gemini di perangkat memiliki banyak manfaat. Namun, untuk kasus penggunaan yang memerlukan model Gemini yang lebih besar, dan untuk mendukung berbagai perangkat, Anda dapat mempertimbangkan untuk menggunakan Gemini API untuk mengakses Gemini di server. Anda dapat melakukannya melalui integrasi backend (dengan Python, Go, Node.js, atau REST) atau langsung dari aplikasi Android melalui SDK klien AI Google untuk Android yang baru.

Cara kerjanya

Eksekusi Gemini Nano di perangkat didukung oleh Android AICore, kapabilitas tingkat sistem baru yang menyediakan akses ke model dasar untuk eksekusi di perangkat, yang diperkenalkan di Android 14. Model dasar sudah diinstal sebelumnya menggunakan AICore, sehingga Anda tidak perlu mendownload atau mendistribusikannya dalam aplikasi. Anda dapat menyesuaikan model ini untuk tugas downstream menggunakan LoRa. Android AICore kini tersedia dalam produksi di perangkat Pixel 8 Pro dan sudah mendukung fitur-fitur inovatif di aplikasi Google.

Untuk informasi selengkapnya, lihat Android AICore.

Arsitektur AICore
Gambar 1. Arsitektur AICore

Langkah berikutnya