Gemini Nano, phiên bản nhỏ nhất của gia đình mô hình Gemini, có thể được thực thi trên thiết bị Android có khả năng, bắt đầu từ Google Pixel 8 Pro và dòng Samsung S24.
Để thực thi mô hình Gemini Nano trên Android, bạn cần sử dụng SDK Google AI Edge dành cho Android. SDK này cung cấp các API để:
- Xác định xem thiết bị chạy Android cơ bản có được hỗ trợ hay không.
- Sử dụng mô hình Gemini Nano.
- Điều chỉnh chế độ cài đặt an toàn.
- Chạy quy trình suy luận ở hiệu suất cao và triển khai phương án dự phòng.
- Bạn có thể cung cấp khối tinh chỉnh LoRA để cải thiện hiệu suất của mô hình cho trường hợp sử dụng của mình.
Các API để truy cập vào Gemini Nano hỗ trợ phương thức văn bản sang văn bản, với nhiều phương thức khác sẽ ra mắt trong tương lai.
Lợi ích của việc thực thi trên thiết bị
Việc thực thi trên thiết bị cho phép những việc sau:
- Xử lý dữ liệu nhạy cảm trên thiết bị: Việc xử lý dữ liệu trên thiết bị có thể giúp bạn tránh gửi dữ liệu người dùng lên đám mây. Điều này rất quan trọng đối với các ứng dụng xử lý dữ liệu nhạy cảm, chẳng hạn như ứng dụng nhắn tin có tính năng mã hoá hai đầu.
- Truy cập khi không có mạng: Người dùng có thể sử dụng các tính năng AI ngay cả khi không có kết nối Internet. Điều này hữu ích cho các ứng dụng cần hoạt động ngoại tuyến hoặc có kết nối thay đổi.
- Tiết kiệm chi phí: Bạn có thể giảm chi phí suy luận bằng cách giảm tải quá trình thực thi sang phần cứng tiêu dùng. Điều này có thể giúp tiết kiệm đáng kể cho các luồng người dùng thường dùng.
Việc thực thi Gemini trên thiết bị có nhiều lợi ích; tuy nhiên, đối với các trường hợp sử dụng yêu cầu mô hình Gemini lớn hơn và để hỗ trợ nhiều loại thiết bị, bạn nên cân nhắc sử dụng API Gemini để truy cập Gemini trên máy chủ. Bạn có thể thực hiện việc này thông qua tính năng tích hợp phần phụ trợ (với Python, Go, Node.js hoặc REST) hoặc trực tiếp từ ứng dụng Android thông qua SDK ứng dụng AI của Google dành cho Android mới.
Cách hoạt động
Tính năng thực thi Gemini Nano trên thiết bị được cung cấp bởi Android AICore, một tính năng mới ở cấp hệ thống, cung cấp quyền truy cập vào các mô hình nền tảng để thực thi trên thiết bị, được ra mắt trong Android 14. Các mô hình cơ sở được cài đặt sẵn bằng AICore, vì vậy, bạn không cần tải xuống hoặc phân phối các mô hình này trong ứng dụng. Bạn có thể tinh chỉnh các mô hình này cho các tác vụ ở hạ nguồn bằng LoRa. Android AICore hiện đã có trong phiên bản chính thức trên các thiết bị Google Pixel 8 Pro và dòng Samsung S24, đồng thời đang hỗ trợ các tính năng cải tiến trong các ứng dụng của Google.
Để biết thêm thông tin, hãy xem bài viết Android AICore.
Bước tiếp theo
- Để tìm hiểu cách tận dụng tính năng suy luận của Gemini Pro trên máy chủ của Google trong ứng dụng Android, hãy đọc bài viết hướng dẫn nhanh về SDK ứng dụng Google AI cho Android.