LLM 추론 가이드

LLM 추론 API를 사용하면 대규모 언어 모델 (LLM)을 완전히 온디바이스로 실행할 수 있으며, 이를 통해 텍스트 생성, 자연어 형식으로 정보 검색, 문서 요약 등 다양한 작업을 실행할 수 있습니다. 이 작업은 여러 텍스트-텍스트 대규모 언어 모델을 기본적으로 지원하므로 최신 온디바이스 생성형 AI 모델을 앱과 제품에 적용할 수 있습니다.

사용해 보기arrow_forward

이 작업은 다양한 LLM을 기본적으로 지원합니다. LiteRT 커뮤니티 페이지에 호스팅된 모델은 MediaPipe 친화적인 형식으로 제공되며 추가 변환이나 컴파일 단계가 필요하지 않습니다.

AI Edge Torch를 사용하여 PyTorch 모델을 다중 서명 LiteRT (tflite) 모델로 내보낼 수 있습니다. 이 모델은 토큰화 도구 매개변수와 번들로 묶여 작업 번들을 만듭니다. AI Edge Torch로 변환된 모델은 LLM 추론 API와 호환되며 CPU 백엔드에서 실행할 수 있으므로 Android 및 iOS 애플리케이션에 적합합니다.

시작하기

타겟 플랫폼에 맞는 구현 가이드 중 하나를 따라 이 작업을 사용하세요. 이러한 플랫폼별 가이드에서는 사용 가능한 모델과 권장 구성 옵션을 사용하는 코드 예시와 함께 이 작업의 기본 구현을 안내합니다.

• 웹:

  • 가이드
  • 코드 예

• Android:

  • 가이드
  • 코드 예

• iOS

  • 가이드
  • 코드 예

태스크 세부정보

이 섹션에서는 이 태스크의 기능, 입력, 출력, 구성 옵션을 설명합니다.

기능

LLM 추론 API에는 다음과 같은 주요 기능이 포함되어 있습니다.

1. 텍스트-텍스트 생성: 입력 텍스트 프롬프트를 기반으로 텍스트를 생성합니다.
2. LLM 선택 - 여러 모델을 적용하여 특정 사용 사례에 맞게 앱을 맞춤설정합니다. 맞춤설정된 가중치를 모델에 재학습하고 적용할 수도 있습니다.
3. LoRA 지원 - 전체 데이터 세트에서 학습하거나 오픈소스 커뮤니티에서 준비된 사전 빌드된 LoRA 모델을 가져와 LoRA 모델로 LLM 기능을 확장하고 맞춤설정합니다 (AI Edge Torch 생성 API로 변환된 모델과 호환되지 않음).

구성 옵션

이 작업에는 다음과 같은 구성 옵션이 있습니다.

모델

LLM 추론 API는 브라우저와 모바일 기기에서 실행되도록 최적화된 여러 모델에 대한 기본 지원을 비롯해 다양한 텍스트-텍스트 대규모 언어 모델을 지원합니다. 이러한 경량 모델을 사용하여 완전히 온디바이스로 추론을 실행할 수 있습니다.

LLM 추론 API를 초기화하기 전에 모델을 다운로드하고 프로젝트 디렉터리 내에 파일을 저장합니다. LiteRT 커뮤니티 HuggingFace 저장소의 사전 변환된 모델을 사용하거나 AI Edge Torch 생성 변환기를 사용하여 모델을 MediaPipe 호환 형식으로 변환할 수 있습니다.

LLM 추론 API와 함께 사용할 LLM이 아직 없는 경우 다음 모델 중 하나로 시작하세요.

Gemma-3n

Gemma-3n E2B 및 E4B는 Gemini 모델을 만드는 데 사용된 것과 동일한 연구 및 기술로 빌드된 최첨단 경량 개방형 모델인 Gemma 제품군의 최신 모델입니다. Gemma 3n 모델은 리소스가 부족한 기기에서 효율적으로 실행되도록 설계되었습니다. 이러한 모델은 텍스트, 이미지, 오디오 입력을 처리하고 텍스트 출력을 생성하는 멀티모달 입력을 지원합니다.

Gemma 3n 모델은 선택적 파라미터 활성화 기술을 사용하여 리소스 요구사항을 줄입니다. 이 기법을 사용하면 모델이 20억 개와 40억 개의 효과적인 파라미터 크기로 작동할 수 있으며, 이는 모델에 포함된 총 파라미터 수보다 적습니다.

Gemma-3n E2B 다운로드

Gemma-3n E4B 다운로드

HuggingFace의 Gemma-3n E2B 및 E4B 모델은 .litertlm 형식으로 제공되며 Android 및 웹용 LLM 추론 API와 함께 사용할 수 있습니다.

Gemma-3 1B

Gemma-3 1B는 Gemini 모델을 만드는 데 사용된 것과 동일한 연구 및 기술로 빌드된 최첨단 경량 개방형 모델군인 Gemma 제품군에서 가장 가벼운 모델입니다. 이 모델에는 10억 개의 매개변수와 개방형 가중치가 포함되어 있습니다.

Gemma-3 1B 다운로드

HuggingFace의 Gemma-3 1B 모델은 .task/.litertlm 형식으로 제공되며 Android 및 웹 애플리케이션용 LLM 추론 API와 함께 사용할 수 있습니다.

LLM 추론 API로 Gemma-3 1B를 실행할 때는 다음 옵션을 적절하게 구성하세요.

• preferredBackend: 이 옵션을 사용하여 CPU 또는 GPU 백엔드 중에서 선택합니다. 이 옵션은 Android에서만 사용할 수 있습니다.
• supportedLoraRanks: LLM 추론 API는 Gemma-3 1B 모델을 사용하여 LoRA (Low-Rank Adaptation)를 지원하도록 구성할 수 없습니다. supportedLoraRanks 또는 loraRanks 옵션을 사용하지 마세요.
• maxTokens: maxTokens 값은 모델에 내장된 컨텍스트 크기와 일치해야 합니다. 이를 키-값 (KV) 캐시 또는 컨텍스트 길이라고도 합니다.
• numResponses: 항상 1이어야 합니다. 이 옵션은 웹에서만 사용할 수 있습니다.

웹 애플리케이션에서 Gemma-3 1B를 실행할 때 초기화로 인해 현재 스레드에서 긴 차단이 발생할 수 있습니다. 가능하면 항상 작업자 스레드에서 모델을 실행하세요.

Gemma-2 2B

Gemma-2 2B는 Gemma-2의 2B 변형으로, 모든 플랫폼에서 작동합니다.

Gemma-2 2B 다운로드

이 모델에는 20억 개의 매개변수와 개방형 가중치가 포함되어 있습니다. Gemma-2 2B는 동급 모델 중 최첨단 추론 기술로 유명합니다.

PyTorch 모델 변환

PyTorch 생성 모델은 AI Edge Torch Generative API를 사용하여 MediaPipe 호환 형식으로 변환할 수 있습니다. API를 사용하여 PyTorch 모델을 다중 서명 LiteRT(TensorFlow Lite) 모델로 변환할 수 있습니다. 모델 매핑 및 내보내기에 관한 자세한 내용은 AI Edge Torch GitHub 페이지를 참고하세요.

AI Edge Torch 생성형 API를 사용하여 PyTorch 모델을 변환하는 단계는 다음과 같습니다.

1. PyTorch 모델 체크포인트를 다운로드합니다.
2. AI Edge Torch 생성 API를 사용하여 모델을 MediaPipe 호환 파일 형식 (.tflite)으로 작성, 변환, 양자화합니다.
3. tflite 파일과 모델 토큰화 도구에서 태스크 번들 (.task/.litertlm)을 만듭니다.

Torch 생성 변환기는 CPU용으로만 변환하며 RAM이 64GB 이상인 Linux 머신이 필요합니다.

작업 번들을 만들려면 번들링 스크립트를 사용하여 작업 번들을 만듭니다. 번들링 프로세스는 매핑된 모델을 추가 메타데이터 (예: 엔드 투 엔드 추론을 실행하는 데 필요한 토큰화 도구 매개변수)을 제공합니다.

모델 번들링 프로세스에는 MediaPipe PyPI 패키지가 필요합니다. 변환 스크립트는 0.10.14 이후 모든 MediaPipe 패키지에서 사용할 수 있습니다.

다음과 같이 종속 항목을 설치하고 가져옵니다.

$ python3 -m pip install mediapipe

genai.bundler 라이브러리를 사용하여 모델을 번들로 묶습니다.

import mediapipe as mp
from mediapipe.tasks.python.genai import bundler

config = bundler.BundleConfig(
    tflite_model=TFLITE_MODEL,
    tokenizer_model=TOKENIZER_MODEL,
    start_token=START_TOKEN,
    stop_tokens=STOP_TOKENS,
    output_filename=OUTPUT_FILENAME,
    enable_bytes_to_unicode_mapping=ENABLE_BYTES_TO_UNICODE_MAPPING,
)
bundler.create_bundle(config)

LoRA 맞춤설정

LLM 추론 API의 LoRA 지원은 GPU 백엔드의 모든 Gemma 변형 및 Phi-2 모델에서 작동하며, LoRA 가중치는 어텐션 레이어에만 적용됩니다. 이 초기 구현은 향후 개발을 위한 실험적 API로, 향후 업데이트에서 더 많은 모델과 다양한 유형의 레이어를 지원할 계획입니다.

LoRA 모델 준비

HuggingFace의 안내에 따라 지원되는 모델 유형(Gemma 또는 Phi-2)을 사용하여 자체 데이터 세트에서 미세 조정된 LoRA 모델을 학습합니다. Gemma-2 2B, Gemma 2B, Phi-2 모델은 모두 HuggingFace에서 safetensors 형식으로 제공됩니다. LLM 추론 API는 어텐션 레이어의 LoRA만 지원하므로 다음과 같이 LoraConfig를 만들 때 어텐션 레이어만 지정하세요.

# For Gemma
from peft import LoraConfig
config = LoraConfig(
    r=LORA_RANK,
    target_modules=["q_proj", "v_proj", "k_proj", "o_proj"],
)

# For Phi-2
config = LoraConfig(
    r=LORA_RANK,
    target_modules=["q_proj", "v_proj", "k_proj", "dense"],
)

테스트를 위해 HuggingFace에서 사용할 수 있는 LLM 추론 API에 적합한 공개적으로 액세스 가능한 미세 조정된 LoRA 모델이 있습니다. 예를 들어 Gemma-2B의 경우 monsterapi/gemma-2b-lora-maths-orca-200k, Phi-2의 경우 lole25/phi-2-sft-ultrachat-lora입니다.

준비된 데이터 세트에서 학습하고 모델을 저장하면 미세 조정된 LoRA 모델 가중치가 포함된 adapter_model.safetensors 파일을 얻게 됩니다. safetensors 파일은 모델 변환에 사용되는 LoRA 체크포인트입니다.

다음 단계로 MediaPipe Python 패키지를 사용하여 모델 가중치를 TensorFlow Lite Flatbuffer로 변환해야 합니다. ConversionConfig는 기본 모델 옵션과 추가 LoRA 옵션을 지정해야 합니다. API는 GPU를 사용한 LoRA 추론만 지원하므로 백엔드를 'gpu'로 설정해야 합니다.

import mediapipe as mp
from mediapipe.tasks.python.genai import converter

config = converter.ConversionConfig(
  # Other params related to base model
  ...
  # Must use gpu backend for LoRA conversion
  backend='gpu',
  # LoRA related params
  lora_ckpt=LORA_CKPT,
  lora_rank=LORA_RANK,
  lora_output_tflite_file=LORA_OUTPUT_TFLITE_FILE,
)

converter.convert_checkpoint(config)

변환기는 기본 모델용 파일과 LoRA 모델용 파일 등 두 개의 TFLite 플랫버퍼 파일을 출력합니다.

LoRA 모델 추론

LoRA 모델 추론을 지원하도록 웹, Android, iOS LLM 추론 API가 업데이트되었습니다.

// Set the configuration options for the LLM Inference task
val options = LlmInferenceOptions.builder()
        .setModelPath('<path to base model>')
        .setMaxTokens(1000)
        .setTopK(40)
        .setTemperature(0.8)
        .setRandomSeed(101)
        .setLoraPath('<path to LoRA model>')
        .build()

// Create an instance of the LLM Inference task
llmInference = LlmInference.createFromOptions(context, options)

LoRA로 LLM 추론을 실행하려면 기본 모델과 동일한 generateResponse() 또는 generateResponseAsync() 메서드를 사용합니다.