LLM 추론 가이드

LLM 추론 API를 사용하면 대규모 언어 모델 (LLM)을 완전히 기기 내에서 실행할 수 있습니다. 이를 통해 텍스트 생성, 자연어 형식의 정보 검색, 문서 요약과 같은 다양한 작업을 실행할 수 있습니다. 이 태스크는 여러 텍스트 대 텍스트 대규모 언어 모델을 기본적으로 지원하므로 최신 기기 내 생성형 AI 모델을 앱과 제품에 적용할 수 있습니다.

사용해 보기arrow_forward

이 작업은 다양한 LLM을 위한 기본 지원을 제공합니다. LiteRT 커뮤니티 페이지에 호스팅된 모델은 MediaPipe 지원 형식으로 제공되며 추가 변환 또는 컴파일 단계가 필요하지 않습니다.

AI Edge Torch를 사용하여 PyTorch 모델을 멀티 서명 LiteRT (tflite) 모델로 내보낼 수 있습니다. 이 모델은 토큰라이저 매개변수와 번들로 묶여 태스크 번들을 만듭니다. AI Edge Torch로 변환된 모델은 LLM 추론 API와 호환되며 CPU 백엔드에서 실행할 수 있으므로 Android 및 iOS 애플리케이션에 적합합니다.

시작하기

대상 플랫폼에 관한 다음 구현 가이드 중 하나에 따라 이 작업을 시작합니다. 다음 플랫폼별 가이드에서는 사용 가능한 모델과 권장 구성 옵션을 사용하는 코드 예시를 통해 이 작업의 기본 구현을 안내합니다.

• 웹:

  • 가이드
  • 코드 예

• Android:

  • 가이드
  • 코드 예

• iOS

  • 가이드
  • 코드 예

태스크 세부정보

이 섹션에서는 이 태스크의 기능, 입력, 출력, 구성 옵션을 설명합니다.

기능

LLM 추론 API에는 다음과 같은 주요 기능이 포함되어 있습니다.

1. 텍스트 대 텍스트 생성 - 입력 텍스트 프롬프트를 기반으로 텍스트를 생성합니다.
2. LLM 선택: 여러 모델을 적용하여 특정 사용 사례에 맞게 앱을 조정합니다. 맞춤설정된 가중치를 모델에 재학습하고 적용할 수도 있습니다.
3. LoRA 지원 - 모든 데이터 세트에서 학습하거나 오픈소스 커뮤니티에서 준비된 사전 빌드된 LoRA 모델을 사용하여 LoRA 모델로 LLM 기능을 확장하고 맞춤설정합니다 (AI Edge Torch Generative API로 변환된 모델과 호환되지 않음).

구성 옵션

이 태스크에는 다음과 같은 구성 옵션이 있습니다.

모델

LLM 추론 API는 브라우저 및 휴대기기에서 실행되도록 최적화된 여러 모델에 대한 기본 제공 지원을 비롯하여 여러 텍스트 대 텍스트 대규모 언어 모델을 지원합니다. 이러한 경량 모델을 사용하여 온디바이스에서 완전히 추론을 실행할 수 있습니다.

LLM Inference API를 초기화하기 전에 모델을 다운로드하여 프로젝트 디렉터리 내에 파일을 저장합니다. LiteRT 커뮤니티 HuggingFace 저장소에서 사전 변환된 모델을 사용하거나 AI Edge Torch 생성형 변환기를 사용하여 모델을 MediaPipe 호환 형식으로 변환할 수 있습니다.

LLM 추론 API와 함께 사용할 LLM이 아직 없는 경우 다음 모델 중 하나로 시작해 보세요.

Gemma-3 1B

Gemma-3 1B는 Gemini 모델을 만드는 데 사용된 것과 동일한 연구 및 기술로 빌드된 최첨단 경량 개방형 모델인 Gemma 제품군의 최신 모델입니다. 이 모델에는 10억 개의 매개변수와 개방형 가중치가 포함되어 있습니다. 1B 변형은 Gemma 제품군에서 가장 가벼운 모델이므로 많은 기기 내 사용 사례에 적합합니다.

Gemma-3 1B 다운로드

HuggingFace의 Gemma-3 1B 모델은 .task 형식으로 제공되며 Android 및 웹 애플리케이션용 LLM 추론 API와 함께 사용할 수 있습니다.

LLM 추론 API로 Gemma-3 1B를 실행할 때는 다음 옵션을 적절하게 구성합니다.

• preferredBackend: 이 옵션을 사용하여 CPU 또는 GPU 백엔드 중에서 선택합니다. 이 옵션은 Android에서만 사용할 수 있습니다.
• supportedLoraRanks: Gemma-3 1B 모델로 LoRA (Low-Rank Adaptation)를 지원하도록 LLM 추론 API를 구성할 수 없습니다. supportedLoraRanks 또는 loraRanks 옵션을 사용하지 마세요.
• maxTokens: maxTokens의 값은 모델에 빌드된 컨텍스트 크기와 일치해야 합니다. 키-값 (KV) 캐시 또는 컨텍스트 길이라고도 합니다.
• numResponses: 항상 1이어야 합니다. 이 옵션은 웹에서만 사용할 수 있습니다.

웹 애플리케이션에서 Gemma-3 1B를 실행하면 초기화로 인해 현재 스레드에서 길게 차단될 수 있습니다. 가능하면 항상 작업자 스레드에서 모델을 실행합니다.

Gemma-2 2B

Gemma-2 2B는 Gemma-2의 2B 변형이며 모든 플랫폼에서 작동합니다.

Gemma-2 2B 다운로드

이 모델에는 2B개의 매개변수와 개방형 가중치가 포함되어 있습니다. Gemma-2 2B는 동급 모델 중에서 최신 추론 기술로 유명합니다.

PyTorch 모델 변환

PyTorch 생성형 모델은 AI Edge Torch 생성형 API를 사용하여 MediaPipe 호환 형식으로 변환할 수 있습니다. 이 API를 사용하여 PyTorch 모델을 다중 서명 LiteRT(TensorFlow Lite) 모델로 변환할 수 있습니다. 모델 매핑 및 내보내기에 관한 자세한 내용은 AI Edge Torch GitHub 페이지를 참고하세요.

AI Edge Torch 생성형 API를 사용하여 PyTorch 모델을 변환하려면 다음 단계를 따르세요.

1. PyTorch 모델 체크포인트를 다운로드합니다.
2. AI Edge Torch Generative API를 사용하여 모델을 작성, 변환, 정규화하고 MediaPipe 호환 파일 형식 (.tflite)으로 변환합니다.
3. tflite 파일과 모델 토큰라이저에서 작업 번들 (.task)을 만듭니다.

Torch 생성형 변환기는 CPU용으로만 변환하며 RAM이 64GB 이상인 Linux 머신이 필요합니다.

태스크 번들을 만들려면 번들 스크립트를 사용하여 태스크 번들을 만듭니다. 번들링 프로세스는 매핑된 모델을 추가 메타데이터 (예: 토큰 생성기 매개변수)를 지정합니다.

모델 번들 프로세스에는 MediaPipe PyPI 패키지가 필요합니다. 변환 스크립트는 0.10.14 이후의 모든 MediaPipe 패키지에서 사용할 수 있습니다.

다음을 사용하여 종속 항목을 설치하고 가져옵니다.

$ python3 -m pip install mediapipe

genai.bundler 라이브러리를 사용하여 모델을 번들로 묶습니다.

import mediapipe as mp
from mediapipe.tasks.python.genai import bundler

config = bundler.BundleConfig(
    tflite_model=TFLITE_MODEL,
    tokenizer_model=TOKENIZER_MODEL,
    start_token=START_TOKEN,
    stop_tokens=STOP_TOKENS,
    output_filename=OUTPUT_FILENAME,
    enable_bytes_to_unicode_mapping=ENABLE_BYTES_TO_UNICODE_MAPPING,
)
bundler.create_bundle(config)

LoRA 맞춤설정

LLM 추론 API의 LoRA 지원은 GPU 백엔드의 모든 Gemma 변형 및 Phi-2 모델에 작동하며, LoRA 가중치는 주목 레이어에만 적용됩니다. 이 초기 구현은 향후 업데이트에서 더 많은 모델과 다양한 유형의 레이어를 지원할 계획이 있는 향후 개발을 위한 실험용 API로 사용됩니다.

LoRA 모델 준비

HuggingFace의 안내에 따라 지원되는 모델 유형인 Gemma 또는 Phi-2를 사용하여 자체 데이터 세트에서 미세 조정된 LoRA 모델을 학습합니다. Gemma-2 2B, Gemma 2B, Phi-2 모델은 모두 HuggingFace에서 safetensors 형식으로 사용할 수 있습니다. LLM 추론 API는 주목 레이어에서만 LoRA를 지원하므로 다음과 같이 LoraConfig를 만들 때만 주목 레이어를 지정합니다.

# For Gemma
from peft import LoraConfig
config = LoraConfig(
    r=LORA_RANK,
    target_modules=["q_proj", "v_proj", "k_proj", "o_proj"],
)

# For Phi-2
config = LoraConfig(
    r=LORA_RANK,
    target_modules=["q_proj", "v_proj", "k_proj", "dense"],
)

테스트를 위해 HuggingFace에서 제공하는 LLM 추론 API에 적합한 미세 조정된 LoRA 모델을 공개적으로 액세스할 수 있습니다. 예를 들어 Gemma-2B의 경우 monsterapi/gemma-2b-lora-maths-orca-200k, Phi-2의 경우 lole25/phi-2-sft-ultrachat-lora입니다.

준비된 데이터 세트에서 학습하고 모델을 저장하면 미세 조정된 LoRA 모델 가중치가 포함된 adapter_model.safetensors 파일이 생성됩니다. safetensors 파일은 모델 변환에 사용되는 LoRA 체크포인트입니다.

다음 단계로 MediaPipe Python 패키지를 사용하여 모델 가중치를 TensorFlow Lite Flatbuffer로 변환해야 합니다. ConversionConfig는 기본 모델 옵션과 추가 LoRA 옵션을 지정해야 합니다. API는 GPU를 사용한 LoRA 추론만 지원하므로 백엔드는 'gpu'로 설정해야 합니다.

import mediapipe as mp
from mediapipe.tasks.python.genai import converter

config = converter.ConversionConfig(
  # Other params related to base model
  ...
  # Must use gpu backend for LoRA conversion
  backend='gpu',
  # LoRA related params
  lora_ckpt=LORA_CKPT,
  lora_rank=LORA_RANK,
  lora_output_tflite_file=LORA_OUTPUT_TFLITE_FILE,
)

converter.convert_checkpoint(config)

변환기는 기본 모델용과 LoRA 모델용의 두 가지 TFLite FlatBuffer 파일을 출력합니다.

LoRA 모델 추론

LoRA 모델 추론을 지원하도록 웹, Android, iOS LLM 추론 API가 업데이트되었습니다.

// Set the configuration options for the LLM Inference task
val options = LlmInferenceOptions.builder()
        .setModelPath('<path to base model>')
        .setMaxTokens(1000)
        .setTopK(40)
        .setTemperature(0.8)
        .setRandomSeed(101)
        .setLoraPath('<path to LoRA model>')
        .build()

// Create an instance of the LLM Inference task
llmInference = LlmInference.createFromOptions(context, options)

LoRA로 LLM 추론을 실행하려면 베이스 모델과 동일한 generateResponse() 또는 generateResponseAsync() 메서드를 사용합니다.