iOS용 LLM 추론 가이드

LLM 추론 API를 사용하면 iOS 애플리케이션에서 대규모 언어 모델 (LLM)을 완전히 온디바이스로 실행할 수 있으며, 이를 통해 텍스트 생성, 자연어 형식으로 정보 검색, 문서 요약 등 다양한 작업을 실행할 수 있습니다. 이 작업은 여러 텍스트-텍스트 대규모 언어 모델을 기본적으로 지원하므로 최신 온디바이스 생성형 AI 모델을 iOS 앱에 적용할 수 있습니다.

LLM 추론 API를 iOS 애플리케이션에 빠르게 추가하려면 빠른 시작을 따르세요. LLM 추론 API를 실행하는 iOS 애플리케이션의 기본 예는 샘플 애플리케이션을 참고하세요. LLM 추론 API의 작동 방식에 대한 자세한 내용은 구성 옵션, 모델 변환, LoRA 미세 조정 섹션을 참고하세요.

MediaPipe Studio 데모에서 이 작업을 확인할 수 있습니다. 이 작업의 기능, 모델, 구성 옵션에 관한 자세한 내용은 개요를 참고하세요.

빠른 시작

다음 단계에 따라 iOS 애플리케이션에 LLM 추론 API를 추가하세요. LLM 추론 API는 CocoaPods를 사용하여 설치해야 하는 MediaPipeTasksGenai 라이브러리를 사용합니다. 이 라이브러리는 Swift 및 Objective-C 앱과 모두 호환되며 추가 언어별 설정이 필요하지 않습니다.

macOS에 CocoaPods를 설치하는 방법은 CocoaPods 설치 가이드를 참고하세요. 앱에 필요한 포드가 포함된 Podfile를 만드는 방법은 CocoaPods 사용을 참고하세요.

종속 항목 추가

다음 코드를 사용하여 Podfile에 MediaPipeTasksGenai pod를 추가합니다.

target 'MyLlmInferenceApp' do
  use_frameworks!
  pod 'MediaPipeTasksGenAI'
  pod 'MediaPipeTasksGenAIC'
end

앱에 단위 테스트 타겟이 포함된 경우 iOS 설정 가이드에서 Podfile 설정에 관한 자세한 내용을 참고하세요.

모델 다운로드

Kaggle 모델에서 8비트 양자화 형식으로 Gemma-2 2B를 다운로드합니다. 사용 가능한 모델에 대한 자세한 내용은 모델 문서를 참고하세요.

Xcode를 사용하여 모델을 프로젝트 디렉터리에 추가합니다. Xcode 프로젝트에 파일을 추가하는 방법은 Xcode 프로젝트에서 파일 및 폴더 관리하기를 참고하세요.

작업 초기화

기본 구성 옵션으로 작업을 초기화합니다.

import MediaPipeTasksGenai

let modelPath = Bundle.main.path(forResource: "model",
                                      ofType: "bin")

let options = LlmInferenceOptions()
options.baseOptions.modelPath = modelPath
options.maxTokens = 1000
options.topk = 40
options.temperature = 0.8
options.randomSeed = 101

let llmInference = try LlmInference(options: options)

태스크 실행

generateResponse(inputText:) 메서드를 사용하여 텍스트 응답을 생성합니다. 이렇게 하면 하나의 생성된 대답이 생성됩니다.

let result = try LlmInference.generateResponse(inputText: inputPrompt)

대답을 스트리밍하려면 generateResponseAsync(inputText:) 메서드를 사용합니다.

let resultStream =  LlmInference.generateResponseAsync(inputText: inputPrompt)

do {
  for try await partialResult in resultStream {
    print("\(partialResult)")
  }
  print("Done")
}
catch {
  print("Response error: '\(error)")
}

샘플 애플리케이션

샘플 애플리케이션은 LLM 추론 API를 사용하는 iOS용 기본 텍스트 생성 앱의 예입니다. 이 앱을 자체 iOS 앱의 시작점으로 사용하거나 기존 앱을 수정할 때 참고할 수 있습니다. 예시 코드는 GitHub에 호스팅되어 있습니다.

다음 명령어를 사용하여 Git 저장소를 클론합니다.

git clone https://github.com/google-ai-edge/mediapipe-samples

예제 코드의 로컬 버전을 만든 후 프로젝트를 iOS 스튜디오로 가져와 앱을 실행할 수 있습니다. 자세한 내용은 iOS 설정 가이드를 참고하세요.

구성 옵션

다음 구성 옵션을 사용하여 iOS 앱을 설정합니다.

모델 변환

LLM 추론 API는 다음 유형의 모델과 호환되며, 일부 모델은 변환이 필요합니다. 표를 사용하여 모델에 필요한 단계 메서드를 확인합니다.

다른 모델을 변환하는 방법을 알아보려면 모델 변환 섹션을 참고하세요.

LoRA 맞춤설정

LLM 추론 API는 PEFT (Parameter-Efficient Fine-Tuning) 라이브러리를 사용하여 LoRA (Low-Rank Adaptation) 튜닝을 지원합니다. LoRA 튜닝은 비용 효율적인 학습 프로세스를 통해 LLM의 동작을 맞춤설정하여 전체 모델을 재학습하는 대신 새로운 학습 데이터를 기반으로 학습 가능한 가중치 집합을 만듭니다.

LLM 추론 API는 Gemma-2 2B, Gemma 2B, Phi-2 모델의 어텐션 레이어에 LoRA 가중치를 추가하는 기능을 지원합니다. safetensors 형식으로 모델을 다운로드합니다.

LoRA 가중치를 만들려면 기본 모델이 safetensors 형식이어야 합니다. LoRA 학습 후 모델을 FlatBuffers 형식으로 변환하여 MediaPipe에서 실행할 수 있습니다.

LoRA 가중치 준비

PEFT의 LoRA 메서드 가이드를 사용하여 자체 데이터 세트에서 미세 조정된 LoRA 모델을 학습시킵니다.

LLM 추론 API는 어텐션 레이어의 LoRA만 지원하므로 LoraConfig에서 어텐션 레이어만 지정하세요.

# For Gemma
from peft import LoraConfig
config = LoraConfig(
    r=LORA_RANK,
    target_modules=["q_proj", "v_proj", "k_proj", "o_proj"],
)

# For Phi-2
config = LoraConfig(
    r=LORA_RANK,
    target_modules=["q_proj", "v_proj", "k_proj", "dense"],
)

준비된 데이터 세트에서 학습하고 모델을 저장하면 미세 조정된 LoRA 모델 가중치를 adapter_model.safetensors에서 사용할 수 있습니다. safetensors 파일은 모델 변환 중에 사용되는 LoRA 체크포인트입니다.

모델 변환

MediaPipe Python 패키지를 사용하여 모델 가중치를 Flatbuffer 형식으로 변환합니다. ConversionConfig는 기본 모델 옵션과 추가 LoRA 옵션을 지정합니다.

import mediapipe as mp
from mediapipe.tasks.python.genai import converter

config = converter.ConversionConfig(
  # Other params related to base model
  ...
  # Must use gpu backend for LoRA conversion
  backend='gpu',
  # LoRA related params
  lora_ckpt=LORA_CKPT,
  lora_rank=LORA_RANK,
  lora_output_tflite_file=LORA_OUTPUT_FILE,
)

converter.convert_checkpoint(config)

변환기는 기본 모델용 파일과 LoRA 모델용 파일 등 두 개의 Flatbuffer 파일을 생성합니다.

LoRA 모델 추론

iOS는 초기화 중에 정적 LoRA를 지원합니다. LoRA 모델을 로드하려면 LoRA 모델 경로와 기본 LLM을 지정합니다.

import MediaPipeTasksGenai

let modelPath = Bundle.main.path(forResource: "model",
                                      ofType: "bin")
let loraPath= Bundle.main.path(forResource: "lora_model",
                                      ofType: "bin")
let options = LlmInferenceOptions()
options.modelPath = modelPath
options.maxTokens = 1000
options.topk = 40
options.temperature = 0.8
options.randomSeed = 101
options.loraPath = loraPath

let llmInference = try LlmInference(options: options)

LoRA로 LLM 추론을 실행하려면 베이스 모델과 동일한 generateResponse() 또는 generateResponseAsync() 메서드를 사용합니다.