Bạn có thể chạy các mô hình Gemma hoàn toàn trên thiết bị bằng API Dự đoán MediaPipe LLM. API Inference LLM đóng vai trò là trình bao bọc cho các mô hình ngôn ngữ lớn, cho phép bạn chạy các mô hình Gemma trên thiết bị cho các tác vụ tạo văn bản thành văn bản phổ biến như truy xuất thông tin, soạn email và tóm tắt tài liệu.
Hãy dùng thử LLM Inference API với MediaPipe Studio, một ứng dụng dựa trên nền tảng web để đánh giá và tuỳ chỉnh các mô hình trên thiết bị.
LLM Inference API hiện có trên các nền tảng sau:
Để tìm hiểu thêm, hãy tham khảo tài liệu về Dự đoán LLM của MediaPipe.