این سند روش‌ها و ابزارهای مختلفی را برای استقرار و اجرای مدل‌های Gemma در دستگاه‌های تلفن همراه، از جمله استفاده از برنامه Google AI Edge Gallery و MediaPipe LLM Inference API ارائه می‌کند.
برای کسب اطلاعات در مورد تبدیل مدل Gemma تنظیم شده به نسخه LiteRT، به راهنمای تبدیل مراجعه کنید.
برنامه Google AI Edge Gallery
برای مشاهده APIهای استنتاج LLM در عمل و آزمایش مدل Task Bundle خود، می‌توانید از برنامه Google AI Edge Gallery استفاده کنید. این برنامه یک رابط کاربری برای تعامل با LLM های روی دستگاه ارائه می دهد که به شما این امکان را می دهد:
- وارد کردن مدل‌ها: مدل‌های
.taskسفارشی خود را در برنامه بارگیری کنید. - پیکربندی پارامترها: تنظیماتی مانند دما و top-k را تنظیم کنید.
- Generate Text: درخواست های ورودی و مشاهده پاسخ های مدل.
- عملکرد تست: سرعت و دقت مدل را ارزیابی کنید.
برای راهنمای دقیق نحوه استفاده از برنامه Google AI Edge Gallery، از جمله دستورالعمل‌هایی برای وارد کردن مدل‌های خود، به مستندات برنامه مراجعه کنید.
MediaPipe LLM
می‌توانید مدل‌های Gemma را در دستگاه‌های تلفن همراه با MediaPipe LLM Inference API اجرا کنید. LLM Inference API به عنوان یک پوشش برای مدل‌های زبان بزرگ عمل می‌کند و به شما امکان می‌دهد مدل‌های Gemma را روی دستگاه برای کارهای رایج تولید متن به متن مانند بازیابی اطلاعات، تهیه پیش‌نویس ایمیل، و خلاصه‌سازی اسناد اجرا کنید.
LLM Inference API در پلتفرم‌های تلفن همراه زیر موجود است:
برای کسب اطلاعات بیشتر، به مستندات استنتاج MediaPipe LLM مراجعه کنید.