Làm quen với Gemini Nano trên Android (trên thiết bị)

Gemini Nano, phiên bản nhỏ nhất trong dòng mô hình Gemini, có thể được thực thi trên thiết bị trên các thiết bị Android có hỗ trợ kể từ Google Pixel 8 Pro và Samsung S24 Series.

Để thực thi mô hình Nano Gemini trên Android, bạn cần sử dụng SDK Google AI Edge cho Android. SDK này cung cấp các API để:

  • Xác định xem thiết bị chạy Android cơ bản có được hỗ trợ hay không.
  • Nhận quyền truy cập vào mô hình Nano Gemini.
  • Điều chỉnh chế độ cài đặt an toàn.
  • Chạy suy luận với hiệu suất cao và triển khai tính năng dự phòng.
  • Cung cấp một khối tinh chỉnh LoRA (không bắt buộc) để cải thiện hiệu suất của mô hình cho trường hợp sử dụng của bạn.

Các API để truy cập vào Gemini Nano hỗ trợ phương thức chuyển văn bản thành văn bản, và sẽ có nhiều phương thức khác trong tương lai.

Lợi ích của việc thực thi trên thiết bị

Quá trình thực thi trên thiết bị cho phép những việc sau:

  • Xử lý cục bộ dữ liệu nhạy cảm: Việc xử lý dữ liệu cục bộ có thể giúp bạn tránh phải gửi dữ liệu người dùng lên đám mây. Điều này rất quan trọng đối với các ứng dụng xử lý dữ liệu nhạy cảm, chẳng hạn như ứng dụng nhắn tin được mã hoá hai đầu.
  • Truy cập ngoại tuyến: Người dùng có thể sử dụng các tính năng AI ngay cả khi không có kết nối Internet. Điều này rất hữu ích cho các ứng dụng cần hoạt động khi không có mạng hoặc có khả năng kết nối đa dạng.
  • Tiết kiệm chi phí: Bạn có thể giảm chi phí dự đoán bằng cách giảm tải quá trình thực thi cho phần cứng tiêu dùng. Điều này có thể giúp tiết kiệm đáng kể cho các luồng người dùng thường được sử dụng.

Việc thực thi Gemini trên thiết bị mang lại nhiều lợi ích; tuy nhiên, đối với các trường hợp sử dụng yêu cầu các mô hình Gemini lớn hơn và để hỗ trợ nhiều loại thiết bị, bạn nên cân nhắc sử dụng API Gemini để truy cập Gemini trên máy chủ. Bạn có thể thực hiện việc này thông qua việc tích hợp phần phụ trợ (bằng Python, Go, Node.js hoặc REST) hoặc trực tiếp từ ứng dụng Android của mình thông qua SDK ứng dụng AI mới của Google dành cho Android.

Cách hoạt động

Quá trình thực thi Gemini Nano trên thiết bị được hỗ trợ bởi Android AICore. Đây là một tính năng mới ở cấp hệ thống cung cấp quyền truy cập vào các mô hình nền tảng để thực thi trên thiết bị, được giới thiệu trong Android 14. Các mô hình nền tảng được cài đặt sẵn bằng AICore, vì vậy, bạn không cần tải xuống hoặc phân phối các mô hình đó trong ứng dụng. Bạn có thể tinh chỉnh các mô hình này cho các tác vụ hạ nguồn bằng LoRa. Android AICore hiện đã có phiên bản chính thức trên các thiết bị Google Pixel 8 Pro và Samsung S24 Series và đã hỗ trợ các tính năng tiên tiến trong các ứng dụng của Google.

Để biết thêm thông tin, hãy xem nội dung Android AICore.

Kiến trúc AICore
Hình 1. Kiến trúc AICore

Bước tiếp theo