Bạn có thể chạy các mô hình Gemma hoàn toàn trên thiết bị bằng tính năng Suy luận LLM MediaPipe . Chiến lược phát hành đĩa đơn API suy luận LLM hoạt động như một trình bao bọc cho các mô hình ngôn ngữ lớn để bạn có thể chạy Các mô hình Gemma trên thiết bị hỗ trợ các công việc phổ biến để tạo văn bản thành văn bản, chẳng hạn như thông tin truy xuất, soạn email và tóm tắt tài liệu.
Dùng thử API suy luận LLM bằng MediaPipe Studio, một ứng dụng dựa trên nền tảng web để đánh giá và tuỳ chỉnh các mô hình trên thiết bị.
API suy luận LLM hiện có trên các nền tảng sau:
Để tìm hiểu thêm, hãy tham khảo phần Suy luận LLM MediaPipe .