Triển khai Gemma trên thiết bị di động

Tài liệu này trình bày nhiều phương pháp và công cụ để triển khai và chạy các mô hình Gemma trên thiết bị di động, bao gồm cả việc sử dụng ứng dụng Google AI Edge Gallery và MediaPipe LLM Inference API.

Để biết thông tin về cách chuyển đổi một mô hình Gemma được tinh chỉnh thành phiên bản LiteRT, hãy xem Hướng dẫn chuyển đổi.

Để xem các API Suy luận LLM đang hoạt động và kiểm thử mô hình Gói tác vụ, bạn có thể sử dụng ứng dụng Google AI Edge Gallery. Ứng dụng này cung cấp một giao diện người dùng để tương tác với các LLM trên thiết bị, cho phép bạn:

  • Nhập mô hình: Tải các mô hình .task tuỳ chỉnh của bạn vào ứng dụng.
  • Định cấu hình các tham số: Điều chỉnh các chế độ cài đặt như nhiệt độ và top-k.
  • Tạo văn bản: Nhập câu lệnh và xem câu trả lời của mô hình.
  • Kiểm thử hiệu suất: Đánh giá tốc độ và độ chính xác của mô hình.

Để biết hướng dẫn chi tiết về cách sử dụng ứng dụng Google AI Edge Gallery, bao gồm cả hướng dẫn nhập các mô hình của riêng bạn, hãy tham khảo tài liệu của ứng dụng.

LLM MediaPipe

Bạn có thể chạy các mô hình Gemma trên thiết bị di động bằng API suy luận LLM MediaPipe. LLM Inference API hoạt động như một trình bao bọc cho các mô hình ngôn ngữ lớn, cho phép bạn chạy các mô hình Gemma trên thiết bị cho các tác vụ tạo văn bản thành văn bản phổ biến như truy xuất thông tin, soạn thảo email và tóm tắt tài liệu.

LLM Inference API có trên các nền tảng di động sau:

Để tìm hiểu thêm, hãy tham khảo Tài liệu về suy luận LLM của MediaPipe.