می‌توانید مدل‌های Gemma را کاملاً روی دستگاه با MediaPipe LLM Inference API اجرا کنید. LLM Inference API به عنوان یک پوشش برای مدل‌های زبان بزرگ عمل می‌کند و به شما امکان می‌دهد مدل‌های Gemma را روی دستگاه برای کارهای رایج تولید متن به متن مانند بازیابی اطلاعات، تهیه پیش‌نویس ایمیل، و خلاصه‌سازی اسناد اجرا کنید.
LLM Inference API را با MediaPipe Studio امتحان کنید، یک برنامه مبتنی بر وب برای ارزیابی و سفارشی کردن مدل‌های روی دستگاه.
LLM Inference API در پلتفرم های زیر در دسترس است:
برای کسب اطلاعات بیشتر، به مستندات استنتاج MediaPipe LLM مراجعه کنید.