MediaPipe LLM Çıkarımı API'si ile Gemma modellerini tamamen cihaz üzerinde çalıştırabilirsiniz. LLM Inference API, büyük dil modelleri için sarmalayıcı görevi görür. Bu sayede bilgi alma, e-posta taslağı oluşturma ve belge özetleme gibi yaygın metinden metne oluşturma görevleri için Gemma modellerini cihaz üzerinde çalıştırabilirsiniz.
Cihaz üzerindeki modelleri değerlendirmek ve özelleştirmek için kullanabileceğiniz web tabanlı bir uygulama olan MediaPipe Studio ile LLM Inference API'yi deneyin.
LLM Inference API aşağıdaki platformlarda kullanılabilir:
Daha fazla bilgi için MediaPipe LLM Çıkarımı belgelerine bakın.