Gemini 모델 제품군의 가장 작은 버전인 Gemini Nano를 실행할 수 있습니다 Google Pixel 8 Pro 및 삼성 S24 시리즈
Android에서 Gemini Nano 모델을 실행하려면 다음을 사용해야 합니다. Android용 Google AI Edge SDK로, 다음을 위한 API를 제공합니다.
- 기본 Android 지원 기기가 지원되는지 확인합니다.
- Gemini Nano 모델에 대한 액세스 권한을 얻습니다.
- 안전 설정을 조정합니다.
- 고성능으로 추론을 실행하고 대체를 구현합니다.
- 원하는 경우 LoRA 미세 조정 블록을 제공하여 사용 사례에 따른 작업별 모델이 있습니다
Gemini Nano 액세스를 위한 API는 텍스트-텍스트 모달리티를 지원하며 지원될 예정입니다
온디바이스 실행의 이점
기기 내 실행은 다음을 가능하게 합니다.
- 민감한 정보 로컬 처리: 로컬에서 데이터를 처리하면 도움이 됩니다. 사용자 데이터를 클라우드로 보내는 것을 피할 수 있습니다. 이는 인코더-디코더 아키텍처를 민감한 정보(예: 엔드 투 엔드 암호화가 있는 메시지 앱)
- 오프라인 액세스: 오프라인 상태에서도 사용자는 AI 기능에 인터넷 연결 이는 작동해야 하는 애플리케이션에 유용합니다. 가변적인 연결을 통해 이를 해결할 수 있습니다
- 비용 절감: 실행을 오프로드하여 추론 비용을 절감할 수 있습니다. 소비자 하드웨어입니다. 이렇게 하면 자주 사용하는 VM에 대해 상당한 비용을 절감할 수 있습니다. 사용자 플로우에 대해 자세히 알아보세요.
Gemini의 기기 내 실행에는 많은 이점이 있습니다. Cloud Storage를 사용하는 경우에는 더 큰 Gemini 모델이 필요하며, 다양한 기기를 지원하기 위해 에서 Gemini API를 사용하여 서버에서 Gemini에 액세스하는 것을 고려해 보세요. 나 백엔드 통합 (Python, Go, Node.js 또는 REST)을 사용하거나 새로운 수익 창출 도구를 통해 Android용 Google AI 클라이언트 SDK
작동 방식
Gemini Nano의 기기 내 실행은 새로운 도구인 Android AICore를 온디바이스의 기반 모델에 대한 액세스를 제공하는 시스템 수준 기능 Android 14에 도입된 기능입니다. 기반 모델은 사전 학습된 API에 앱 내에서 다운로드하거나 배포할 필요가 없습니다. 나 LoRa를 사용하여 다운스트림 작업을 위해 이러한 모델을 미세 조정할 수 있습니다. Android AICore는 현재 Google Pixel 8 Pro 및 삼성 S24 시리즈 기기에서 프로덕션 버전으로 제공 은 이미 Google 앱의 혁신적인 기능을 지원하고 있습니다.
자세한 내용은 Android AICore를 참고하세요.
다음 단계
- Google 서버에서 Gemini Pro 추론을 활용하는 방법 알아보기 알아보려면 빠른 시작: Android용 Google AI 클라이언트 SDK를 참고하세요.