Anda dapat menjalankan model Gemma sepenuhnya di perangkat dengan Inferensi LLM MediaPipe Google Cloud Platform. Tujuan LLM Inference API bertindak sebagai wrapper untuk model bahasa besar, yang memungkinkan Anda menjalankan Membuat model Gemma di perangkat untuk tugas pembuatan teks-ke-teks umum seperti informasi pengambilan, pembuatan draf email, dan perangkuman dokumen.
Coba LLM Inference API dengan MediaPipe Studio, aplikasi berbasis web untuk mengevaluasi dan menyesuaikan model di perangkat.
LLM Inference API tersedia di platform berikut:
Untuk mempelajari lebih lanjut, lihat Inferensi LLM MediaPipe dokumentasi tambahan.