LLM 추론 가이드

LLM 추론 API를 사용하면 대규모 언어 모델 (LLM)을 완전히 기기 내에서 실행할 수 있습니다. 이를 통해 텍스트 생성, 자연어 형식의 정보 검색, 문서 요약과 같은 다양한 작업을 실행할 수 있습니다. 이 태스크는 여러 텍스트 대 텍스트 대규모 언어 모델을 기본적으로 지원하므로 최신 기기 내 생성형 AI 모델을 앱과 제품에 적용할 수 있습니다.

사용해 보기arrow_forward

이 작업은 Gemma의 다음 변형을 지원합니다. Gemma-2 2B, Gemma 2B, Gemma 7B Gemma는 Gemini 모델을 만드는 데 사용된 것과 동일한 연구 및 기술로 빌드된 최첨단 경량 개방형 모델군입니다. 또한 Phi-2, Falcon-RW-1B, StableLM-3B와 같은 외부 모델도 지원합니다.

지원되는 모델 외에도 Google의 AI Edge Torch를 사용하여 PyTorch 모델을 다중 서명 LiteRT (tflite) 모델로 내보낼 수 있습니다. 이 모델은 토큰 생성기 매개변수와 번들로 묶여 LLM 추론 API와 호환되는 작업 번들을 만듭니다. AI Edge Torch로 변환된 모델은 CPU 백엔드에서만 실행할 수 있으므로 Android 및 iOS로 제한됩니다.

시작하기

대상 플랫폼에 관한 다음 구현 가이드 중 하나에 따라 이 작업을 시작합니다. 다음 플랫폼별 가이드에서는 사용 가능한 모델과 권장 구성 옵션을 사용하는 코드 예시를 통해 이 작업의 기본 구현을 안내합니다.

• 웹:

  • 가이드
  • 코드 예

• Android:

  • 가이드
  • 코드 예

• iOS

  • 가이드
  • 코드 예

태스크 세부정보

이 섹션에서는 이 태스크의 기능, 입력, 출력, 구성 옵션을 설명합니다.

기능

LLM 추론 API에는 다음과 같은 주요 기능이 포함되어 있습니다.

1. 텍스트 대 텍스트 생성 - 입력 텍스트 프롬프트를 기반으로 텍스트를 생성합니다.
2. LLM 선택: 여러 모델을 적용하여 특정 사용 사례에 맞게 앱을 조정합니다. 맞춤설정된 가중치를 모델에 재학습하고 적용할 수도 있습니다.
3. LoRA 지원 - 모든 데이터 세트에서 학습하거나 오픈소스 커뮤니티에서 준비된 사전 빌드된 LoRA 모델을 사용하여 LoRA 모델로 LLM 기능을 확장하고 맞춤설정합니다 (AI Edge Torch Generative API로 변환된 모델과 호환되지 않음).

구성 옵션

이 태스크에는 다음과 같은 구성 옵션이 있습니다.

모델

LLM 추론 API는 브라우저 및 휴대기기에서 실행되도록 최적화된 여러 모델에 대한 기본 제공 지원을 비롯하여 다양한 텍스트 대 텍스트 대규모 언어 모델을 지원합니다. 이러한 경량 모델을 사용하여 기기에서 완전히 추론을 실행할 수 있습니다.

LLM Inference API를 초기화하기 전에 모델을 다운로드하고 프로젝트 디렉터리 내에 파일을 저장합니다. 사전 변환된 모델을 사용하거나 모델을 MediaPipe 호환 형식으로 변환할 수 있습니다.

LLM 추론 API는 두 가지 카테고리 유형의 모델과 호환되며, 그중 일부는 모델 변환이 필요합니다. 표를 사용하여 모델에 필요한 단계 메서드를 식별합니다.

Google에서는 Kaggle에서 Gemma 2B, Gemma 7B, Gemma-2 2B용으로 변환된 .bin 파일을 호스팅하고 있습니다. 이러한 모델은 LLM 추론 API를 사용하여 직접 배포할 수 있습니다. 다른 모델을 변환하는 방법을 알아보려면 모델 변환 섹션을 참고하세요.

Gemma-2 2B

Gemma-2 2B는 Gemini 모델을 만드는 데 사용된 것과 동일한 연구 및 기술로 빌드된 최첨단 경량 개방형 모델인 Gemma 제품군의 최신 모델입니다. 이 모델에는 2B 매개변수와 개방형 가중치가 포함되어 있습니다. Gemma-2 2B는 동급 모델을 위한 최신 추론 기술로 유명합니다.

Gemma-2 2B 다운로드

Gemma-2 2B 모델은 다음과 같은 변형으로 제공됩니다.

• gemma2-2b-it-cpu-int8: CPU 호환성이 있는 Gemma-2 2B 8비트 모델입니다.
• gemma2-2b-it-gpu-int8: GPU 호환성이 있는 Gemma-2 2B 8비트 모델입니다.

앱에 추가하기 전에 모델을 조정하고 새 가중치를 추가할 수도 있습니다. Gemma 조정 및 맞춤설정에 관한 자세한 내용은 Gemma 조정을 참고하세요. Kaggle 모델에서 Gemma-2B를 다운로드하면 모델이 이미 MediaPipe Tasks와 함께 사용할 수 있는 적절한 형식입니다.

Gemma 2B

Gemma 2B는 Gemini 모델을 만드는 데 사용된 것과 동일한 연구 및 기술로 빌드된 최첨단 경량 개방형 모델 제품군의 일부입니다. 이 모델에는 2B 매개변수와 개방형 가중치가 포함되어 있습니다. 이 모델은 질문 답변, 요약, 추론을 비롯한 다양한 텍스트 생성 작업에 적합합니다.

Gemma 2B 다운로드

Gemma 2B 모델은 다음과 같은 변형으로 제공됩니다.

• gemma-2b-it-cpu-int4: CPU 호환성이 있는 Gemma 2B 4비트 모델입니다.
• gemma-2b-it-cpu-int8: CPU 호환성이 있는 Gemma 2B 8비트 모델입니다.
• gemma-2b-it-gpu-int4: GPU 호환성이 있는 Gemma 2B 4비트 모델입니다.
• gemma-2b-it-gpu-int8: GPU 호환성이 있는 Gemma 2B 8비트 모델입니다.

앱에 추가하기 전에 모델을 조정하고 새 가중치를 추가할 수도 있습니다. Gemma 조정 및 맞춤설정에 관한 자세한 내용은 Gemma 조정을 참고하세요. Kaggle 모델에서 Gemma 2B를 다운로드하면 모델이 이미 MediaPipe Tasks와 함께 사용할 수 있는 적절한 형식입니다.

Gemma 7B

Gemma 7B는 7B 매개변수와 개방형 가중치를 갖는 더 큰 Gemma 모델입니다. 이 모델은 질문 답변, 요약, 추론을 비롯한 다양한 텍스트 생성 작업에 더 강력합니다. Gemma 7B는 웹에서만 지원됩니다.

Gemma 7B 다운로드

Gemma 7B 모델은 다음과 같은 한 가지 변형으로 제공됩니다.

• gemma-1.1-7b-it-gpu-int8: GPU 호환성이 있는 Gemma 7B 8비트 모델입니다.

Kaggle Models에서 Gemma 7B를 다운로드하면 모델이 이미 MediaPipe에서 사용할 수 있는 적절한 형식입니다.

Falcon 1B

Falcon-1B는 RefinedWeb의 3,500억 개 토큰으로 학습된 10억 개의 매개변수를 사용하는 인과 디코더 전용 모델입니다.

Falcon 1B 다운로드

LLM 추론 API를 사용하려면 다음 파일을 로컬에 다운로드하여 저장해야 합니다.

• tokenizer.json
• tokenizer_config.json
• pytorch_model.bin

Falcon 모델 파일을 다운로드한 후에는 변환 스크립트를 사용하여 모델을 MediaPipe 형식으로 변환할 수 있습니다. 지원되는 모델의 전환 스크립트 섹션의 단계를 따릅니다.

StableLM 3B

StableLM-3B는 4개의 에포크 동안 다양한 영어 및 코드 데이터 세트의 1조 개 토큰으로 선행 학습된 30억 개의 매개변수 디코더 전용 언어 모델입니다.

StableLM 3B 다운로드

LLM 추론 API를 사용하려면 다음 파일을 로컬에 다운로드하여 저장해야 합니다.

• tokenizer.json
• tokenizer_config.json
• model.safetensors

StableLM 모델 파일을 다운로드한 후에는 변환 스크립트를 사용하여 모델을 MediaPipe 형식으로 변환할 수 있습니다. 지원되는 모델의 전환 스크립트 섹션의 단계를 따릅니다.

Phi-2

Phi-2는 27억 개의 매개변수를 사용하는 Transformer 모델입니다. 다양한 NLP 합성 텍스트와 필터링된 웹사이트를 사용하여 학습되었습니다. 이 모델은 질문-답변, 채팅, 코드 형식을 사용하는 프롬프트에 가장 적합합니다.

Phi-2 다운로드

LLM 추론 API를 사용하려면 다음 파일을 로컬에 다운로드하여 저장해야 합니다.

• tokenizer.json
• tokenizer_config.json
• model-00001-of-00002.safetensors
• model-00002-of-00002.safetensors

Phi-2 모델 파일을 다운로드한 후 변환 스크립트를 사용하여 모델을 MediaPipe 형식으로 변환할 수 있습니다. 지원되는 모델의 전환 스크립트 섹션의 단계를 따릅니다.

생성형 PyTorch 모델

PyTorch 생성형 모델은 AI Edge Torch 생성형 API를 사용하여 MediaPipe 호환 형식으로 변환할 수 있습니다. 이 API를 사용하여 PyTorch 모델을 다중 서명 LiteRT(TensorFlow Lite) 모델로 변환할 수 있습니다. 모델 매핑 및 내보내기에 관한 자세한 내용은 AI Edge Torch GitHub 페이지를 참고하세요.

AI Edge Torch Generative API를 사용하여 PyTorch 모델을 변환하려면 PyTorch 모델용 Torch Generative 컨버터 섹션의 단계를 따르세요.

모델 변환

MediaPipe LLM 추론 API를 사용하면 기기에서 다양한 대규모 언어 모델을 실행할 수 있습니다. 여기에는 MediaPipe 호환 형식으로 사전 변환된 모델과 변환 스크립트 또는 AI Edge Torch 라이브러리로 변환할 수 있는 기타 모델이 포함됩니다.

LLM 추론 API는 .bin 및 .task 파일 형식의 모델을 허용합니다. 사전 변환된 모델과 변환 스크립트로 변환된 모델은 .bin 파일이지만 AI Edge Torch 라이브러리로 변환된 모델은 .task 파일입니다. 변환된 모델의 파일 형식을 수동으로 변경하지 마세요.

LLM 추론 API에는 세 가지 모델 변환 경로가 포함되어 있습니다.

• 사전 변환된 모델 (Gemma 2B, Gemma 7B, Gemma-2 2B): 변환이 필요하지 않습니다.
• 지원되는 모델 (Phi-2, StableLM, Falcon): MediaPipe 변환 스크립트
• 기타 PyTorch 모델 (모든 PyTorch LLM 모델): AI Edge Torch 생성형 API

사전 변환된 모델

Gemma-2 2B, Gemma 2B, Gemma 7B 모델은 MediaPipe 형식의 사전 변환된 모델로 제공됩니다. 이러한 모델은 사용자의 추가 변환 단계가 필요하지 않으며 LLM 추론 API로 있는 그대로 실행할 수 있습니다.

Kaggle 모델에서 Gemma-2 2B를 다운로드할 수 있습니다.

• gemma2-2b-it-cpu-int8: CPU 호환성이 있는 Gemma-2 2B 8비트 모델입니다.
• gemma2-2b-it-gpu-int8: GPU 호환성이 있는 Gemma-2 2B 8비트 모델입니다.

Kaggle Models에서 Gemma 2B의 변형을 다운로드할 수 있습니다.

• gemma-2b-it-cpu-int4: CPU 호환성이 있는 Gemma 2B 4비트 모델입니다.
• gemma-2b-it-cpu-int8: CPU 호환성이 있는 Gemma 2B 8비트 모델입니다.
• gemma-2b-it-gpu-int4: GPU 호환성이 있는 Gemma 2B 4비트 모델입니다.
• gemma-2b-it-gpu-int8: GPU 호환성이 있는 Gemma 2B 8비트 모델입니다.

Kaggle 모델에서 Gemma 7B를 다운로드할 수 있습니다.

• gemma-1.1-7b-it-gpu-int8: GPU 호환성이 있는 Gemma 7B 8비트 모델입니다.

Gemma 모델에 관한 자세한 내용은 Gemma-2 2B, Gemma 2B, Gemma 7B 문서를 참고하세요.

지원되는 모델의 전환 스크립트

MediaPipe 패키지는 다음 외부 모델을 MediaPipe 호환 형식으로 변환하는 변환 스크립트를 제공합니다.

• Falcon 1B
• StableLM 3B
• Phi-2

지원되는 외부 모델에 관한 자세한 내용은 Falcon 1B, StableLM 3B, Phi-2에 관한 문서를 참고하세요.

모델 변환 프로세스에는 MediaPipe PyPI 패키지가 필요합니다. 변환 스크립트는 0.10.11 이후의 모든 MediaPipe 패키지에서 사용할 수 있습니다.

다음을 사용하여 종속 항목을 설치하고 가져옵니다.

$ python3 -m pip install mediapipe

genai.converter 라이브러리를 사용하여 모델을 변환합니다.

import mediapipe as mp
from mediapipe.tasks.python.genai import converter

config = converter.ConversionConfig(
  input_ckpt=INPUT_CKPT,
  ckpt_format=CKPT_FORMAT,
  model_type=MODEL_TYPE,
  backend=BACKEND,
  output_dir=OUTPUT_DIR,
  combine_file_only=False,
  vocab_model_file=VOCAB_MODEL_FILE,
  output_tflite_file=OUTPUT_TFLITE_FILE,
)

converter.convert_checkpoint(config)

LoRA 모델을 변환하려면 ConversionConfig에서 기본 모델 옵션과 추가 LoRA 옵션을 지정해야 합니다. API는 GPU를 사용한 LoRA 추론만 지원하므로 백엔드는 'gpu'로 설정해야 합니다.

import mediapipe as mp
from mediapipe.tasks.python.genai import converter

config = converter.ConversionConfig(
  # Other params related to base model
  ...
  # Must use gpu backend for LoRA conversion
  backend='gpu',
  # LoRA related params
  lora_ckpt=LORA_CKPT,
  lora_rank=LORA_RANK,
  lora_output_tflite_file=LORA_OUTPUT_TFLITE_FILE,
)

converter.convert_checkpoint(config)

변환기는 기본 모델용과 LoRA 모델용의 두 가지 TFLite FlatBuffer 파일을 출력합니다.

PyTorch 모델용 Torch 생성형 변환기

PyTorch 생성형 모델은 AI Edge Torch 생성형 API를 사용하여 MediaPipe 호환 형식으로 변환할 수 있습니다. 이 API를 사용하여 LLM 추론 API와 함께 사용할 PyTorch LLM을 작성, 변환, 정규화할 수 있습니다. Torch 생성형 변환기는 CPU용으로만 변환하며 RAM이 64GB 이상인 Linux 머신이 필요합니다.

AI Edge Torch Generative API를 사용하여 PyTorch 모델을 변환하려면 다음 단계를 따르세요.

1. PyTorch 모델 체크포인트 다운로드
2. AI Edge Torch Generative API를 사용하여 모델을 작성, 변환, 정규화하고 MediaPipe 호환 파일 형식 (.tflite)으로 변환합니다.
3. tflite 파일과 모델 토큰라이저에서 작업 번들 (.task)을 만듭니다.

태스크 번들을 만들려면 번들 스크립트를 사용하여 태스크 번들을 만듭니다. 번들링 프로세스는 매핑된 모델을 추가 메타데이터 (예: Tokenizer 매개변수)를 지정합니다.

모델 번들 프로세스에는 MediaPipe PyPI 패키지가 필요합니다. 변환 스크립트는 0.10.14 이후의 모든 MediaPipe 패키지에서 사용할 수 있습니다.

다음을 사용하여 종속 항목을 설치하고 가져옵니다.

$ python3 -m pip install mediapipe

genai.bundler 라이브러리를 사용하여 모델을 번들로 묶습니다.

import mediapipe as mp
from mediapipe.tasks.python.genai import bundler

config = bundler.BundleConfig(
    tflite_model=TFLITE_MODEL,
    tokenizer_model=TOKENIZER_MODEL,
    start_token=START_TOKEN,
    stop_tokens=STOP_TOKENS,
    output_filename=OUTPUT_FILENAME,
    enable_bytes_to_unicode_mapping=ENABLE_BYTES_TO_UNICODE_MAPPING,
)
bundler.create_bundle(config)

LoRA 맞춤설정

LLM 추론 API의 LoRA 지원은 GPU 백엔드의 모든 Gemma 변형 및 Phi-2 모델에 작동하며, LoRA 가중치는 주목 레이어에만 적용됩니다. 이 초기 구현은 향후 업데이트에서 더 많은 모델과 다양한 유형의 레이어를 지원할 계획이 있는 향후 개발을 위한 실험용 API로 사용됩니다.

LoRA 모델 준비

HuggingFace의 안내에 따라 지원되는 모델 유형인 Gemma 또는 Phi-2를 사용하여 자체 데이터 세트에서 미세 조정된 LoRA 모델을 학습합니다. Gemma-2 2B, Gemma 2B, Phi-2 모델은 모두 HuggingFace에서 safetensors 형식으로 사용할 수 있습니다. LLM 추론 API는 주목 레이어에서만 LoRA를 지원하므로 다음과 같이 LoraConfig를 만들 때만 주목 레이어를 지정합니다.

# For Gemma
from peft import LoraConfig
config = LoraConfig(
    r=LORA_RANK,
    target_modules=["q_proj", "v_proj", "k_proj", "o_proj"],
)

# For Phi-2
config = LoraConfig(
    r=LORA_RANK,
    target_modules=["q_proj", "v_proj", "k_proj", "dense"],
)

테스트를 위해 HuggingFace에서 제공하는 LLM 추론 API에 적합한 미세 조정된 LoRA 모델을 공개적으로 액세스할 수 있습니다. 예를 들어 Gemma-2B의 경우 monsterapi/gemma-2b-lora-maths-orca-200k, Phi-2의 경우 lole25/phi-2-sft-ultrachat-lora입니다.

준비된 데이터 세트에서 학습하고 모델을 저장하면 미세 조정된 LoRA 모델 가중치가 포함된 adapter_model.safetensors 파일이 생성됩니다. safetensors 파일은 모델 변환에 사용되는 LoRA 체크포인트입니다.

다음 단계로 MediaPipe Python 패키지를 사용하여 모델 가중치를 TensorFlow Lite Flatbuffer로 변환해야 합니다. ConversionConfig는 기본 모델 옵션과 추가 LoRA 옵션을 지정해야 합니다. API는 GPU를 사용한 LoRA 추론만 지원하므로 백엔드는 'gpu'로 설정해야 합니다.

import mediapipe as mp
from mediapipe.tasks.python.genai import converter

config = converter.ConversionConfig(
  # Other params related to base model
  ...
  # Must use gpu backend for LoRA conversion
  backend='gpu',
  # LoRA related params
  lora_ckpt=LORA_CKPT,
  lora_rank=LORA_RANK,
  lora_output_tflite_file=LORA_OUTPUT_TFLITE_FILE,
)

converter.convert_checkpoint(config)

변환기는 기본 모델용과 LoRA 모델용의 두 가지 TFLite FlatBuffer 파일을 출력합니다.

LoRA 모델 추론

LoRA 모델 추론을 지원하도록 웹, Android, iOS LLM 추론 API가 업데이트되었습니다.

// Set the configuration options for the LLM Inference task
val options = LlmInferenceOptions.builder()
        .setModelPath('<path to base model>')
        .setMaxTokens(1000)
        .setTopK(40)
        .setTemperature(0.8)
        .setRandomSeed(101)
        .setLoraPath('<path to LoRA model>')
        .build()

// Create an instance of the LLM Inference task
llmInference = LlmInference.createFromOptions(context, options)

LoRA로 LLM 추론을 실행하려면 베이스 모델과 동일한 generateResponse() 또는 generateResponseAsync() 메서드를 사용합니다.