Men-deploy Gemma di perangkat seluler

Dokumen ini menguraikan berbagai metode dan alat untuk men-deploy dan menjalankan model Gemma di perangkat seluler, termasuk menggunakan aplikasi Google AI Edge Gallery dan MediaPipe LLM Inference API.

Untuk mengetahui informasi tentang cara mengonversi model Gemma yang di-fine-tune ke versi LiteRT, lihat Panduan Konversi.

Untuk melihat cara kerja LLM Inference API dan menguji model Task Bundle, Anda dapat menggunakan aplikasi Google AI Edge Gallery. Aplikasi ini menyediakan antarmuka pengguna untuk berinteraksi dengan LLM di perangkat, sehingga Anda dapat:

  • Mengimpor Model: Muat model .task kustom Anda ke dalam aplikasi.
  • Konfigurasi Parameter: Sesuaikan setelan seperti suhu dan top-k.
  • Buat Teks: Masukkan perintah dan lihat respons model.
  • Performa Pengujian: Mengevaluasi kecepatan dan akurasi model.

Untuk panduan mendetail tentang cara menggunakan aplikasi Google AI Edge Gallery, termasuk petunjuk untuk mengimpor model Anda sendiri, lihat dokumentasi aplikasi.

LLM MediaPipe

Anda dapat menjalankan model Gemma di perangkat seluler dengan MediaPipe LLM Inference API. LLM Inference API bertindak sebagai wrapper untuk model bahasa besar, sehingga Anda dapat menjalankan model Gemma di perangkat untuk tugas pembuatan teks-ke-teks umum seperti pengambilan informasi, pembuatan draf email, dan peringkasan dokumen.

LLM Inference API tersedia di platform seluler berikut:

Untuk mempelajari lebih lanjut, lihat dokumentasi Inferensi LLM MediaPipe.