Android용 LLM 추론 가이드

LLM 추론 API를 사용하면 Android 애플리케이션에서 대규모 언어 모델 (LLM)을 완전히 기기 내에서 실행할 수 있습니다. 이를 통해 텍스트 생성, 자연어 형식의 정보 검색, 문서 요약과 같은 다양한 작업을 실행할 수 있습니다. 이 작업은 여러 텍스트 대 텍스트 대규모 언어 모델을 기본적으로 지원하므로 최신 기기 내 생성형 AI 모델을 Android 앱에 적용할 수 있습니다.

Android 애플리케이션에 LLM 추론 API를 빠르게 추가하려면 빠른 시작을 따르세요. LLM 추론 API를 실행하는 Android 애플리케이션의 기본 예는 샘플 애플리케이션을 참고하세요. LLM Inference API의 작동 방식을 자세히 알아보려면 구성 옵션, 모델 변환, LoRA 조정 섹션을 참고하세요.

MediaPipe 스튜디오 데모에서 이 작업이 실행되는 모습을 확인할 수 있습니다. 이 태스크의 기능, 모델, 구성 옵션에 관한 자세한 내용은 개요를 참고하세요.

빠른 시작

Android 애플리케이션에 LLM 추론 API를 추가하려면 다음 단계를 따르세요. LLM 추론 API는 Pixel 8 및 삼성 S23 이상과 같은 고급 Android 기기에 최적화되어 있으며 기기 에뮬레이터를 안정적으로 지원하지 않습니다.

종속 항목 추가

LLM Inference API는 com.google.mediapipe:tasks-genai 라이브러리를 사용합니다. Android 앱의 build.gradle 파일에 다음 종속 항목을 추가합니다.

dependencies {
    implementation 'com.google.mediapipe:tasks-genai:0.10.22'
}

Android 12 (API 31) 이상을 실행하는 기기의 경우 네이티브 OpenCL 라이브러리 종속 항목을 추가합니다. 자세한 내용은 uses-native-library 태그 문서를 참고하세요.

AndroidManifest.xml 파일에 다음 uses-native-library 태그를 추가합니다.

<uses-native-library android:name="libOpenCL.so" android:required="false"/>
<uses-native-library android:name="libOpenCL-car.so" android:required="false"/>
<uses-native-library android:name="libOpenCL-pixel.so" android:required="false"/>

모델 다운로드

Hugging Face에서 4비트 양자화 형식의 Gemma-3 1B를 다운로드합니다. 사용 가능한 모델에 관한 자세한 내용은 모델 문서를 참고하세요.

output_path 폴더의 콘텐츠를 Android 기기로 푸시합니다.

$ adb shell rm -r /data/local/tmp/llm/ # Remove any previously loaded models
$ adb shell mkdir -p /data/local/tmp/llm/
$ adb push output_path /data/local/tmp/llm/model_version.task

작업 초기화

기본 구성 옵션으로 태스크를 초기화합니다.

// Set the configuration options for the LLM Inference task
val taskOptions = LlmInferenceOptions.builder()
        .setModelPath('/data/local/tmp/llm/model_version.task')
        .setMaxTopK(64)
        .build()

// Create an instance of the LLM Inference task
llmInference = LlmInference.createFromOptions(context, taskOptions)

태스크 실행

generateResponse() 메서드를 사용하여 텍스트 응답을 생성합니다. 이렇게 하면 단일 생성된 응답이 생성됩니다.

val result = llmInference.generateResponse(inputPrompt)
logger.atInfo().log("result: $result")

응답을 스트리밍하려면 generateResponseAsync() 메서드를 사용합니다.

val options = LlmInference.LlmInferenceOptions.builder()
  ...
  .setResultListener { partialResult, done ->
    logger.atInfo().log("partial result: $partialResult")
  }
  .build()

llmInference.generateResponseAsync(inputPrompt)

샘플 애플리케이션

샘플 애플리케이션은 LLM 추론 API를 사용하는 Android용 기본 텍스트 생성 앱의 예입니다. 이 앱을 자체 Android 앱의 시작점으로 사용하거나 기존 앱을 수정할 때 참고할 수 있습니다. 예시 코드는 GitHub에서 호스팅됩니다.

다음 명령어를 사용하여 git 저장소를 클론합니다.

git clone https://github.com/google-ai-edge/mediapipe-samples

예시 코드의 로컬 버전을 만든 후 프로젝트를 Android 스튜디오로 가져와 앱을 실행할 수 있습니다. 자세한 내용은 Android용 설정 가이드를 참고하세요.

구성 옵션

다음 구성 옵션을 사용하여 Android 앱을 설정합니다.

모델 변환

LLM 추론 API는 다음과 같은 유형의 모델과 호환되며, 일부 모델은 모델 변환이 필요합니다. 표를 사용하여 모델에 필요한 단계 메서드를 식별합니다.

다른 모델을 변환하는 방법을 알아보려면 모델 변환 섹션을 참고하세요.

LoRA 맞춤설정

LLM Inference API는 PEFT (매개변수 효율적인 미세 조정) 라이브러리를 사용하여 LoRA (하위 순위 조정) 조정을 지원합니다. LoRA 조정은 비용 효율적인 학습 프로세스를 통해 LLM의 동작을 맞춤설정하여 전체 모델을 재학습하는 대신 새 학습 데이터를 기반으로 학습 가능한 가중치의 작은 세트를 만듭니다.

LLM 추론 API는 Gemma-2 2B, Gemma 2B, Phi-2 모델의 주목 레이어에 LoRA 가중치를 추가하는 것을 지원합니다. safetensors 형식의 모델을 다운로드합니다.

LoRA 가중치를 만들려면 기본 모델이 safetensors 형식이어야 합니다. LoRA 학습 후 모델을 FlatBuffers 형식으로 변환하여 MediaPipe에서 실행할 수 있습니다.

LoRA 가중치 준비

PEFT의 LoRA Methods 가이드를 사용하여 자체 데이터 세트에서 미세 조정된 LoRA 모델을 학습합니다.

LLM Inference API는 주목 레이어에서만 LoRA를 지원하므로 LoraConfig에서 주목 레이어만 지정합니다.

# For Gemma
from peft import LoraConfig
config = LoraConfig(
    r=LORA_RANK,
    target_modules=["q_proj", "v_proj", "k_proj", "o_proj"],
)

# For Phi-2
config = LoraConfig(
    r=LORA_RANK,
    target_modules=["q_proj", "v_proj", "k_proj", "dense"],
)

준비된 데이터 세트에서 학습하고 모델을 저장한 후에는 미세 조정된 LoRA 모델 가중치를 adapter_model.safetensors에서 사용할 수 있습니다. safetensors 파일은 모델 변환 중에 사용되는 LoRA 체크포인트입니다.

모델 변환

MediaPipe Python 패키지를 사용하여 모델 가중치를 Flatbuffer 형식으로 변환합니다. ConversionConfig는 추가 LoRA 옵션과 함께 기본 모델 옵션을 지정합니다.

import mediapipe as mp
from mediapipe.tasks.python.genai import converter

config = converter.ConversionConfig(
  # Other params related to base model
  ...
  # Must use gpu backend for LoRA conversion
  backend='gpu',
  # LoRA related params
  lora_ckpt=LORA_CKPT,
  lora_rank=LORA_RANK,
  lora_output_tflite_file=LORA_OUTPUT_FILE,
)

converter.convert_checkpoint(config)

변환기는 기본 모델용 Flatbuffer 파일과 LoRA 모델용 Flatbuffer 파일 2개를 생성합니다.

LoRA 모델 추론

Android는 초기화 중에 정적 LoRA를 지원합니다. LoRA 모델을 로드하려면 LoRA 모델 경로와 기본 LLM을 지정합니다.

// Set the configuration options for the LLM Inference task
val options = LlmInferenceOptions.builder()
        .setModelPath(BASE_MODEL_PATH)
        .setMaxTokens(1000)
        .setTopK(40)
        .setTemperature(0.8)
        .setRandomSeed(101)
        .setLoraPath(LORA_MODEL_PATH)
        .build()

// Create an instance of the LLM Inference task
llmInference = LlmInference.createFromOptions(context, options)

LoRA로 LLM 추론을 실행하려면 베이스 모델과 동일한 generateResponse() 또는 generateResponseAsync() 메서드를 사용합니다.