Gemini Nano, phiên bản nhỏ nhất trong nhóm mô hình Gemini, có thể được thực thi trên các thiết bị Android tương thích như Google Pixel 8 Pro và Dòng Samsung S24.
Để thực thi mô hình Gemini Nano trên Android, bạn cần sử dụng SDK Google AI Edge dành cho Android, cung cấp các API để:
- Xác định xem thiết bị cơ bản chạy hệ điều hành Android có được hỗ trợ hay không.
- Tiếp cận mô hình Gemini Nano.
- Chỉnh các chế độ cài đặt an toàn.
- Chạy suy luận ở hiệu suất cao và triển khai các phương án dự phòng.
- Cung cấp một khối tinh chỉnh LoRA (không bắt buộc) để cải thiện hiệu suất của cho trường hợp sử dụng của bạn.
Các API để sử dụng phương thức hỗ trợ chuyển văn bản thành văn bản của Gemini Nano, cùng với nhiều API khác các phương thức sắp có trong tương lai.
Lợi ích của việc thực thi trên thiết bị
Quá trình thực thi trên thiết bị cho phép:
- Xử lý cục bộ dữ liệu nhạy cảm: Việc xử lý dữ liệu cục bộ có thể giúp bạn tránh gửi dữ liệu người dùng lên đám mây. Điều này rất quan trọng đối với các ứng dụng xử lý dữ liệu nhạy cảm, chẳng hạn như ứng dụng nhắn tin bằng phương thức mã hoá hai đầu.
- Truy cập mà không cần mạng: Người dùng có thể sử dụng các tính năng AI ngay cả khi không có kết nối Internet. Điều này rất hữu ích cho các ứng dụng cần hoạt động khi không có mạng hoặc có khả năng kết nối thay đổi.
- Tiết kiệm chi phí: Bạn có thể giảm chi phí suy luận bằng cách giảm tải quá trình thực thi xuống phần cứng dành cho người tiêu dùng. Điều này có thể giúp tiết kiệm đáng kể cho những luồng người dùng.
Việc thực thi Gemini trên thiết bị mang lại nhiều lợi ích; Tuy nhiên, đối với các trường hợp sử dụng cần các mô hình Gemini lớn hơn và để hỗ trợ nhiều loại thiết bị, bạn có thể muốn cân nhắc việc sử dụng Gemini API để truy cập Gemini trên máy chủ. Bạn có thể thực hiện điều này thông qua việc tích hợp phần phụ trợ (với Python, Go, Node.js hoặc REST) hoặc trực tiếp từ ứng dụng Android của mình thông qua SDK ứng dụng AI của Google dành cho Android.
Cách hoạt động
Quá trình thực thi Gemini Nano trên thiết bị dựa trên Android AICore, một chức năng cấp hệ thống, cấp quyền truy cập vào các mô hình nền tảng cho ứng dụng trên thiết bị Thực thi chính sách được ra mắt trong Android 14. Các mô hình cơ sở được cài đặt sẵn bằng AICore nên bạn không cần tải xuống hoặc phân phối chúng trong ứng dụng. Bạn có thể tinh chỉnh các mô hình này cho các tác vụ hạ nguồn bằng LoRa. Android AICore là hiện đã có bản phát hành công khai trên thiết bị Google Pixel 8 Pro và Samsung S24 Series và đã hỗ trợ các tính năng đổi mới trong các ứng dụng của Google.
Để biết thêm thông tin, hãy xem bài viết Android AICore.
Các bước tiếp theo
- Để tìm hiểu cách tận dụng suy luận của Gemini Pro trên các máy chủ của Google trong ứng dụng Android, hãy đọc hướng dẫn bắt đầu nhanh về SDK ứng dụng AI của Google dành cho Android.