Android에서 Gemini Nano 시작하기 (기기)

Gemini 모델 제품군의 가장 작은 버전인 Gemini Nano는 Pixel 8 Pro부터 지원되는 Android 기기에서 기기에서 실행할 수 있습니다.

Android에서 Gemini Nano 모델을 실행하려면 다음을 위한 API를 제공하는 Android용 Google AI Edge SDK를 사용해야 합니다.

  • 기본 Android 지원 기기가 지원되는지 확인합니다.
  • Gemini Nano 모델을 이용할 수 있습니다.
  • 안전 설정을 조정합니다.
  • 고성능으로 추론을 실행하고 대체를 구현합니다.
  • 원하는 경우 LoRA 미세 조정 블록을 제공하여 사용 사례에 맞는 모델 성능을 개선합니다.

Gemini Nano에 액세스하기 위한 API는 텍스트-텍스트 모달리티를 지원하며, 앞으로 더 많은 모달리티가 제공될 예정입니다.

기기 내 실행의 이점

기기 내 실행을 통해 다음을 할 수 있습니다.

  • 민감한 정보의 로컬 처리: 데이터를 로컬에서 처리하면 사용자 데이터가 클라우드로 전송되지 않도록 할 수 있습니다. 이는 엔드 투 엔드 암호화를 사용하는 메시지 앱과 같이 민감한 정보를 처리하는 앱에 중요합니다.
  • 오프라인 액세스: 사용자는 인터넷 연결이 없을 때도 AI 기능에 액세스할 수 있습니다. 이 기능은 오프라인으로 작업하거나 연결이 수시로 변동되는 애플리케이션에 유용합니다.
  • 비용 절감: 실행을 소비자 하드웨어로 오프로드하여 추론 비용을 줄일 수 있습니다. 이렇게 하면 자주 사용되는 사용자 플로우에서 상당한 비용을 절감할 수 있습니다.

Gemini를 기기 내에서 실행하면 많은 이점이 있습니다. 하지만 더 큰 Gemini 모델이 필요한 사용 사례와 다양한 기기를 지원하려면 서버에서 Gemini에 액세스하는 데 Gemini API를 사용하는 것이 좋습니다. 백엔드 통합 (Python, Go, Node.js 또는 REST 사용)을 통해 수행하거나 새로운 Android용 Google AI 클라이언트 SDK를 통해 Android 앱에서 직접 수행할 수 있습니다.

사용 방법

Gemini Nano의 기기 내 실행은 Android 14에 도입된 기기 내 실행을 위한 기반 모델에 대한 액세스를 제공하는 새로운 시스템 수준 기능인 Android AICore를 기반으로 합니다. 기반 모델은 AICore를 사용하여 사전 설치되므로 앱 내에서 다운로드하거나 배포할 필요가 없습니다. LoRa를 사용하여 다운스트림 작업에 맞게 모델을 미세 조정할 수 있습니다. Android AICore는 현재 Pixel 8 Pro 기기에서 프로덕션 버전으로 제공되며 이미 Google 앱의 혁신적인 기능을 지원하고 있습니다.

자세한 내용은 Android AICore를 참고하세요.

AICore 아키텍처
그림 1. AICore 아키텍처

다음 단계