คู่มือการสรุป LLM

LLM Inference API ช่วยให้คุณเรียกใช้โมเดลภาษาขนาดใหญ่ (LLM) บนอุปกรณ์ได้ทั้งหมด ซึ่งคุณใช้เพื่อทำงานได้หลากหลาย เช่น การสร้างข้อความ การดึงข้อมูลในรูปแบบภาษาธรรมชาติ และการสรุปเอกสาร งานนี้รองรับโมเดลภาษาขนาดใหญ่แบบข้อความเป็นข้อความหลายรายการในตัว คุณจึงใช้โมเดล Generative AI บนอุปกรณ์ล่าสุดกับแอปและผลิตภัณฑ์ได้

ลองใช้เลยarrow_forward

แท็บนี้จะรองรับตัวแปรต่อไปนี้ของ Gemma ได้แก่ Gemma-2 2B, Gemma 2B และ Gemma 7B Gemma เป็นกลุ่มผลิตภัณฑ์โมเดลแบบเปิดที่ทันสมัยและน้ำหนักเบา ซึ่งสร้างขึ้นจากงานวิจัยและเทคโนโลยีเดียวกับที่ใช้สร้างโมเดล Gemini และยังรองรับรุ่นภายนอกต่อไปนี้ด้วย Phi-2, Falcon-RW-1B และ StableLM-3B

นอกจากโมเดลที่รองรับแล้ว คุณยังใช้ AI Edge Torch ของ Google เพื่อส่งออกโมเดล PyTorch ไปยังโมเดล LiteRT (tflite) ที่มีลายเซ็นหลายรายการได้ ซึ่งจะรวมอยู่กับพารามิเตอร์ตัวแยกวิเคราะห์เพื่อสร้างกลุ่มงานที่เข้ากันได้กับ LLM Inference API โมเดลที่แปลงด้วย AI Edge Torch จะทำงานได้ในแบ็กเอนด์ CPU เท่านั้น จึงใช้ได้กับ Android และ iOS เท่านั้น

เริ่มต้นใช้งาน

เริ่มใช้แท็บงานนี้โดยทําตามคําแนะนําการใช้งานแพลตฟอร์มเป้าหมายรายการใดรายการหนึ่งต่อไปนี้ คำแนะนำเฉพาะแพลตฟอร์มเหล่านี้จะแนะนำการใช้งานพื้นฐานของงานนี้พร้อมตัวอย่างโค้ดที่ใช้โมเดลที่มีอยู่และตัวเลือกการกำหนดค่าที่แนะนำ

• เว็บ

  • คู่มือ
  • ตัวอย่างโค้ด

• Android

  • คู่มือ
  • ตัวอย่างโค้ด

• iOS

  • คู่มือ
  • ตัวอย่างโค้ด

รายละเอียดงาน

ส่วนนี้จะอธิบายความสามารถ อินพุต เอาต์พุต และตัวเลือกการกำหนดค่าของงานนี้

ฟีเจอร์

LLM Inference API มีฟีเจอร์หลักต่อไปนี้

1. การสร้างข้อความจากข้อความ - สร้างข้อความตามพรอมต์ข้อความอินพุต
2. การเลือก LLM - ใช้หลายรูปแบบเพื่อปรับแต่งแอปให้เหมาะกับกรณีการใช้งานที่เฉพาะเจาะจง นอกจากนี้ คุณยังฝึกและนำน้ำหนักที่กำหนดเองไปใช้กับโมเดลได้ด้วย
3. การรองรับ LoRA - ขยายและปรับแต่งความสามารถของ LLM ด้วยโมเดล LoRA โดยการฝึกกับชุดข้อมูลทั้งหมด หรือใช้โมเดล LoRA ที่เตรียมไว้ล่วงหน้าจากชุมชนโอเพนซอร์ส (ใช้ร่วมกับโมเดลที่แปลงด้วย AI Edge Torch Generative API ไม่ได้)

ตัวเลือกการกําหนดค่า

งานนี้มีตัวเลือกการกำหนดค่าต่อไปนี้

โมเดล

LLM Inference API รองรับโมเดลภาษาขนาดใหญ่แบบข้อความต่อข้อความหลายโมเดล รวมถึงการรองรับโมเดลหลายรายการในตัวซึ่งได้รับการเพิ่มประสิทธิภาพให้ทำงานในเบราว์เซอร์และอุปกรณ์เคลื่อนที่ โมเดลขนาดเบาเหล่านี้สามารถใช้เพื่อเรียกใช้การอนุมานในอุปกรณ์ได้ทั้งหมด

ก่อนเริ่มต้น LLM Inference API ให้ดาวน์โหลดโมเดลและจัดเก็บไฟล์ภายในไดเรกทอรีโปรเจ็กต์ คุณสามารถใช้โมเดลที่แปลงไว้ล่วงหน้าหรือแปลงโมเดลเป็นรูปแบบที่ MediaPipe รองรับก็ได้

LLM Inference API ใช้ได้กับโมเดล 2 ประเภท ซึ่งบางประเภทต้องมีการแปลงโมเดล ใช้ตารางเพื่อระบุขั้นตอนและวิธีการที่จำเป็นสำหรับโมเดลของคุณ

เราโฮสต์ไฟล์ .bin ที่แปลงแล้วสำหรับ Gemma 2B, Gemma 7B และ Gemma-2 2B บน Kaggle คุณทำให้โมเดลเหล่านี้ใช้งานได้โดยตรงโดยใช้ LLM Inference API หากต้องการดูวิธีแปลงรูปแบบอื่นๆ โปรดดูส่วนการแปลงรูปแบบ

Gemma-2 2B

Gemma-2 2B เป็นโมเดลล่าสุดในตระกูล Gemma ซึ่งเป็นโมเดลแบบเปิดที่ทันสมัยและน้ำหนักเบาที่สร้างขึ้นจากงานวิจัยและเทคโนโลยีเดียวกับที่ใช้สร้างโมเดล Gemini โมเดลมีพารามิเตอร์ 2 พันล้านรายการและน้ำหนักแบบเปิด Gemma-2 2B ขึ้นชื่อเรื่องทักษะการหาเหตุผลที่ล้ำสมัยสำหรับโมเดลในรุ่น

ดาวน์โหลด Gemma-2 2B

รุ่น Gemma-2 2B มีให้เลือก 2 รุ่นดังนี้

• gemma2-2b-it-cpu-int8: Gemma-2 2B รุ่น 8 บิตที่เข้ากันได้กับ CPU
• gemma2-2b-it-gpu-int8: Gemma-2 2B รุ่น 8 บิตที่ใช้งานร่วมกับ GPU ได้

นอกจากนี้ คุณยังปรับแต่งโมเดลและเพิ่มน้ำหนักใหม่ก่อนที่จะเพิ่มลงในแอปได้ด้วย ดูข้อมูลเพิ่มเติมเกี่ยวกับการปรับแต่งและปรับแต่ง Gemma ได้ที่การปรับแต่ง Gemma หลังจากดาวน์โหลด Gemma-2 2B จาก Kaggle Models แล้ว โมเดลจะอยู่ในรูปแบบที่เหมาะสมสำหรับใช้กับ MediaPipe Tasks อยู่แล้ว

Gemma 2B

Gemma 2B เป็นส่วนหนึ่งของกลุ่มโมเดลแบบเปิดที่ทันสมัยและน้ำหนักเบาซึ่งสร้างขึ้นจากงานวิจัยและเทคโนโลยีเดียวกับที่ใช้สร้างโมเดล Gemini โมเดลมีพารามิเตอร์ 2B และการถ่วงน้ำหนักแบบเปิด โมเดลนี้เหมาะสําหรับงานการสร้างข้อความที่หลากหลาย ซึ่งรวมถึงการตอบคําถาม การสรุป และการหาเหตุผล

ดาวน์โหลด Gemma 2B

รุ่น Gemma 2B มีให้เลือก 2 รุ่นดังนี้

• gemma-2b-it-cpu-int4: Gemma 2B รุ่น 4 บิตที่เข้ากันได้กับ CPU
• gemma-2b-it-cpu-int8: Gemma 2B รุ่น 8 บิตที่ใช้งานร่วมกับ CPU ได้
• gemma-2b-it-gpu-int4: Gemma 2B รุ่น 4 บิตที่เข้ากันได้กับ GPU
• gemma-2b-it-gpu-int8: Gemma 2B รุ่น 8 บิตที่เข้ากันได้กับ GPU

นอกจากนี้ คุณยังปรับแต่งโมเดลและเพิ่มน้ำหนักใหม่ก่อนที่จะเพิ่มลงในแอปได้ด้วย ดูข้อมูลเพิ่มเติมเกี่ยวกับการปรับแต่งและปรับแต่ง Gemma ได้ที่การปรับแต่ง Gemma หลังจากดาวน์โหลด Gemma 2B จาก Kaggle Models แล้ว โมเดลจะอยู่ในรูปแบบที่เหมาะสมสำหรับใช้กับ MediaPipe Tasks อยู่แล้ว

Gemma 7B

Gemma 7B เป็น Gemma รุ่นที่ใหญ่ขึ้นซึ่งมีพารามิเตอร์ 7B และน้ำหนักแบบเปิด โมเดลนี้มีประสิทธิภาพมากขึ้นสำหรับงานการสร้างข้อความที่หลากหลาย ซึ่งรวมถึงการตอบคำถาม การสรุป และการหาเหตุผล Gemma 7B ใช้ได้ในเว็บเท่านั้น

ดาวน์โหลด Gemma 7B

รุ่น Gemma 7B มี 1 ตัวแปร ได้แก่

• gemma-1.1-7b-it-gpu-int8: Gemma 7B รุ่น 8 บิตที่เข้ากันได้กับ GPU

หลังจากดาวน์โหลด Gemma 7B จากโมเดลของ Kaggle แล้ว โมเดลจะอยู่ในรูปแบบที่เหมาะสมสำหรับใช้กับ MediaPipe

Falcon 1B

Falcon-1B เป็นโมเดลเฉพาะตัวถอดรหัสเชิงสาเหตุที่มีพารามิเตอร์ 1 พันล้านรายการ ซึ่งได้รับการฝึกด้วยโทเค็น 350,000 ล้านรายการจาก RefinedWeb

ดาวน์โหลด Falcon 1B

LLM Inference API กำหนดให้ต้องดาวน์โหลดและจัดเก็บไฟล์ต่อไปนี้ไว้ในเครื่อง

• tokenizer.json
• tokenizer_config.json
• pytorch_model.bin

หลังจากดาวน์โหลดไฟล์โมเดล Falcon แล้ว โมเดลจะพร้อมแปลงเป็นรูปแบบ MediaPipe ด้วยสคริปต์การแปลง ทําตามขั้นตอนในส่วนสคริปต์ Conversion สําหรับรูปแบบที่รองรับ

StableLM 3B

StableLM-3B คือโมเดลภาษาแบบตัวถอดรหัสเท่านั้นที่มีพารามิเตอร์ 3,000 ล้านรายการ ซึ่งได้รับการฝึกล่วงหน้าด้วยชุดข้อมูลโค้ดและภาษาอังกฤษที่หลากหลาย 1 ล้านล้านโทเค็นเป็นเวลา 4 ยุค

ดาวน์โหลด StableLM 3B

LLM Inference API กำหนดให้ต้องดาวน์โหลดและจัดเก็บไฟล์ต่อไปนี้ไว้ในเครื่อง

• tokenizer.json
• tokenizer_config.json
• model.safetensors

หลังจากดาวน์โหลดไฟล์โมเดล StableLM แล้ว โมเดลจะพร้อมแปลงเป็นรูปแบบ MediaPipe ด้วยสคริปต์การแปลง ทําตามขั้นตอนในส่วนสคริปต์ Conversion สําหรับรูปแบบที่รองรับ

Phi-2

Phi-2 คือโมเดล Transformer ที่มีพารามิเตอร์ 2.7 พันล้านรายการ ได้รับการฝึกโดยใช้ข้อความสังเคราะห์ NLP และเว็บไซต์ที่กรองแล้วต่างๆ โมเดลนี้เหมาะสําหรับพรอมต์ที่ใช้รูปแบบคําถามและคําตอบ แชท และโค้ด

ดาวน์โหลด Phi-2

LLM Inference API กำหนดให้ต้องดาวน์โหลดและจัดเก็บไฟล์ต่อไปนี้ไว้ในเครื่อง

• tokenizer.json
• tokenizer_config.json
• model-00001-of-00002.safetensors
• model-00002-of-00002.safetensors

หลังจากดาวน์โหลดไฟล์โมเดล Phi-2 แล้ว โมเดลจะพร้อมแปลงเป็นรูปแบบ MediaPipe ด้วยสคริปต์การแปลง ทําตามขั้นตอนในส่วนสคริปต์ Conversion สําหรับรูปแบบที่รองรับ

โมเดล PyTorch แบบ Generative

โมเดล Generative ของ PyTorch สามารถแปลงเป็นรูปแบบที่เข้ากันได้กับ MediaPipe ได้ด้วย AI Edge Torch Generative API คุณสามารถใช้ API เพื่อแปลงโมเดล PyTorch เป็นโมเดล LiteRT (TensorFlow Lite) ที่มีลายเซ็นหลายรายการ ดูรายละเอียดเพิ่มเติมเกี่ยวกับการแมปและการส่งออกโมเดลได้ที่หน้า GitHub ของ AI Edge Torch

หากต้องการใช้ AI Edge Torch Generative API เพื่อแปลงโมเดล PyTorch ให้ทำตามขั้นตอนในส่วนเครื่องมือแปลง Torch Generative สำหรับโมเดล PyTorch

การแปลงโมเดล

MediaPipe LLM Inference API ช่วยให้คุณเรียกใช้โมเดลภาษาขนาดใหญ่ที่หลากหลายในอุปกรณ์ได้ ซึ่งรวมถึงโมเดลที่แปลงเป็นรูปแบบที่เข้ากันได้กับ MediaPipe ไว้ล่วงหน้า รวมถึงโมเดลอื่นๆ ที่แปลงได้ด้วยสคริปต์การแปลงหรือไลบรารี AI Edge Torch

LLM Inference API ยอมรับโมเดลในรูปแบบไฟล์ .bin และ .task โมเดลที่แปลงไว้ล่วงหน้าและโมเดลที่แปลงด้วยสคริปต์การแปลงจะเป็นไฟล์ .bin ส่วนโมเดลที่แปลงด้วยไลบรารี AI Edge Torch จะเป็นไฟล์ .task อย่าแก้ไขรูปแบบไฟล์ของโมเดลที่แปลงด้วยตนเอง

LLM Inference API มีเส้นทาง Conversion ของรูปแบบ 3 เส้นทาง ได้แก่

• โมเดลที่แปลงล่วงหน้า (Gemma 2B, Gemma 7B, Gemma-2 2B): ไม่จำเป็นต้องแปลง
• โมเดลที่รองรับ (Phi-2, StableLM, Falcon): สคริปต์การเปลี่ยนรูปแบบของ MediaPipe
• โมเดล PyTorch อื่นๆ (โมเดล LLM ทั้งหมดของ PyTorch): AI Edge Torch Generative API

โมเดลที่แปลงไว้ล่วงหน้า

โมเดล Gemma-2 2B, Gemma 2B และ Gemma 7B มีให้บริการเป็นโมเดลที่แปลงไว้ล่วงหน้าในรูปแบบ MediaPipe โมเดลเหล่านี้ไม่จําเป็นต้องแปลงรูปแบบเพิ่มเติมจากผู้ใช้และสามารถทํางานได้โดยไม่ต้องเปลี่ยนแปลงใดๆ กับ LLM Inference API

คุณดาวน์โหลด Gemma-2 2B ได้จากโมเดล Kaggle ดังนี้

• gemma2-2b-it-cpu-int8: Gemma-2 2B รุ่น 8 บิตที่เข้ากันได้กับ CPU
• gemma2-2b-it-gpu-int8: Gemma-2 2B รุ่น 8 บิตที่ใช้งานร่วมกับ GPU ได้

คุณดาวน์โหลดตัวแปรของ Gemma 2B จากโมเดล Kaggle ได้โดยทำดังนี้

• gemma-2b-it-cpu-int4: Gemma 2B รุ่น 4 บิตที่เข้ากันได้กับ CPU
• gemma-2b-it-cpu-int8: Gemma 2B รุ่น 8 บิตที่ใช้งานร่วมกับ CPU ได้
• gemma-2b-it-gpu-int4: Gemma 2B รุ่น 4 บิตที่เข้ากันได้กับ GPU
• gemma-2b-it-gpu-int8: Gemma 2B รุ่น 8 บิตที่เข้ากันได้กับ GPU

คุณดาวน์โหลด Gemma 7B ได้จากโมเดล Kaggle ดังนี้

• gemma-1.1-7b-it-gpu-int8: Gemma 7B รุ่น 8 บิตที่เข้ากันได้กับ GPU

ดูข้อมูลเพิ่มเติมเกี่ยวกับโมเดล Gemma ได้ที่เอกสารประกอบเกี่ยวกับ Gemma-2 2B, Gemma 2B และ Gemma 7B

สคริปต์ Conversion สําหรับรูปแบบที่รองรับ

แพ็กเกจ MediaPipe มีสคริปต์แปลงเพื่อแปลงโมเดลภายนอกต่อไปนี้ให้เป็นรูปแบบที่เข้ากันได้กับ MediaPipe

• Falcon 1B
• StableLM 3B
• Phi-2

ดูข้อมูลเพิ่มเติมเกี่ยวกับโมเดลภายนอกที่รองรับได้ที่เอกสารประกอบเกี่ยวกับ Falcon 1B, StableLM 3B และ Phi-2

กระบวนการแปลงโมเดลต้องใช้แพ็กเกจ MediaPipe PyPI สคริปต์การเปลี่ยนรูปแบบจะอยู่ในแพ็กเกจ MediaPipe ทั้งหมดหลังจาก 0.10.11

ติดตั้งและนําเข้าทรัพยากร Dependency ด้วยสิ่งต่อไปนี้

$ python3 -m pip install mediapipe

ใช้ไลบรารี genai.converter เพื่อแปลงโมเดล โดยทำดังนี้

import mediapipe as mp
from mediapipe.tasks.python.genai import converter

config = converter.ConversionConfig(
  input_ckpt=INPUT_CKPT,
  ckpt_format=CKPT_FORMAT,
  model_type=MODEL_TYPE,
  backend=BACKEND,
  output_dir=OUTPUT_DIR,
  combine_file_only=False,
  vocab_model_file=VOCAB_MODEL_FILE,
  output_tflite_file=OUTPUT_TFLITE_FILE,
)

converter.convert_checkpoint(config)

หากต้องการแปลงรูปแบบ LoRA ConversionConfig ควรระบุตัวเลือกรูปแบบพื้นฐาน รวมถึงตัวเลือก LoRA เพิ่มเติม โปรดทราบว่าเนื่องจาก API รองรับการอนุมาน LoRA ด้วย GPU เท่านั้น จึงต้องตั้งค่าแบ็กเอนด์เป็น 'gpu'

import mediapipe as mp
from mediapipe.tasks.python.genai import converter

config = converter.ConversionConfig(
  # Other params related to base model
  ...
  # Must use gpu backend for LoRA conversion
  backend='gpu',
  # LoRA related params
  lora_ckpt=LORA_CKPT,
  lora_rank=LORA_RANK,
  lora_output_tflite_file=LORA_OUTPUT_TFLITE_FILE,
)

converter.convert_checkpoint(config)

ตัวแปลงจะแสดงผลไฟล์ Flatbuffer ของ TFLite 2 ไฟล์ ไฟล์หนึ่งสำหรับโมเดลฐานและอีกไฟล์สำหรับโมเดล LoRA

ตัวแปลง Torch Generative สําหรับโมเดล PyTorch

โมเดล Generative ของ PyTorch สามารถแปลงเป็นรูปแบบที่เข้ากันได้กับ MediaPipe ได้ด้วย AI Edge Torch Generative API คุณสามารถใช้ API นี้เพื่อเขียน แปลง และแปลงค่า LLM ของ PyTorch เพื่อใช้กับ LLM Inference API ตัวแปลง Torch Generative จะแปลงสำหรับ CPU เท่านั้น และต้องใช้เครื่อง Linux ที่มี RAM อย่างน้อย 64 GB

การแปลงโมเดล PyTorch ด้วย AI Edge Torch Generative API ประกอบด้วยขั้นตอนต่อไปนี้

1. ดาวน์โหลดจุดตรวจโมเดล PyTorch
2. ใช้ AI Edge Torch Generative API เพื่อสร้าง แปลง และแปลงโมเดลเป็นรูปแบบไฟล์ที่เข้ากันได้กับ MediaPipe (.tflite)
3. สร้างกลุ่มงาน (.task) จากไฟล์ tflite และตัวแยกวิเคราะห์โมเดล

หากต้องการสร้างกลุ่มงาน ให้ใช้สคริปต์การรวมเพื่อสร้างกลุ่มงาน กระบวนการจัดกลุ่มจะรวมโมเดลที่แมปไว้กับข้อมูลเมตาเพิ่มเติม (เช่น พารามิเตอร์ตัวแยกวิเคราะห์) ที่จําเป็นต่อการดําเนินการอนุมานจากต้นจนจบ

กระบวนการรวมโมเดลต้องใช้แพ็กเกจ MediaPipe PyPI สคริปต์การเปลี่ยนรูปแบบจะอยู่ในแพ็กเกจ MediaPipe ทั้งหมดหลังจาก 0.10.14

ติดตั้งและนําเข้าทรัพยากร Dependency ด้วยสิ่งต่อไปนี้

$ python3 -m pip install mediapipe

ใช้ไลบรารี genai.bundler เพื่อรวมโมเดล

import mediapipe as mp
from mediapipe.tasks.python.genai import bundler

config = bundler.BundleConfig(
    tflite_model=TFLITE_MODEL,
    tokenizer_model=TOKENIZER_MODEL,
    start_token=START_TOKEN,
    stop_tokens=STOP_TOKENS,
    output_filename=OUTPUT_FILENAME,
    enable_bytes_to_unicode_mapping=ENABLE_BYTES_TO_UNICODE_MAPPING,
)
bundler.create_bundle(config)

การปรับแต่ง LoRA

การรองรับ LoRA ของ LLM Inference API ใช้ได้กับตัวแปร Gemma และโมเดล Phi-2 ทั้งหมดสําหรับแบ็กเอนด์ GPU โดยน้ำหนัก LoRA ใช้ได้กับเลเยอร์การใส่ใจเท่านั้น การใช้งานครั้งแรกนี้ถือเป็น API เวอร์ชันทดลองสําหรับการพัฒนาในอนาคต โดยมีแผนที่จะรองรับโมเดลและเลเยอร์ประเภทต่างๆ เพิ่มเติมในการอัปเดตที่กําลังจะมาถึง

เตรียมโมเดล LoRA

ทําตามวิธีการใน HuggingFace เพื่อฝึกโมเดล LoRA ที่ปรับแต่งอย่างละเอียดในชุดข้อมูลของคุณเองด้วยประเภทโมเดลที่รองรับ ซึ่งได้แก่ Gemma หรือ Phi-2 โมเดล Gemma-2 2B, Gemma 2B และ Phi-2 พร้อมใช้งานใน HuggingFace ในรูปแบบ SafeTensor เนื่องจาก LLM Inference API รองรับเฉพาะ LoRA ในเลเยอร์ความสนใจ ให้ระบุเฉพาะเลเยอร์ความสนใจขณะสร้าง LoraConfig ดังนี้

# For Gemma
from peft import LoraConfig
config = LoraConfig(
    r=LORA_RANK,
    target_modules=["q_proj", "v_proj", "k_proj", "o_proj"],
)

# For Phi-2
config = LoraConfig(
    r=LORA_RANK,
    target_modules=["q_proj", "v_proj", "k_proj", "dense"],
)

สำหรับการทดสอบ มีโมเดล LoRA ที่ปรับแต่งอย่างละเอียดซึ่งเข้ากันได้กับ LLM ที่พร้อมใช้งานแบบสาธารณะใน Inference API ของ HuggingFace เช่น monsterapi/gemma-2b-lora-maths-orca-200k สำหรับ Gemma-2B และ lole25/phi-2-sft-ultrachat-lora สำหรับ Phi-2

หลังจากฝึกชุดข้อมูลที่เตรียมไว้และบันทึกโมเดลแล้ว คุณจะได้รับไฟล์ adapter_model.safetensors ที่มีน้ำหนักโมเดล LoRA ที่ปรับแต่งอย่างละเอียด ไฟล์ safetensors คือจุดตรวจสอบ LoRA ที่ใช้ในการแปลงโมเดล

ขั้นตอนถัดไปคือคุณต้องแปลงน้ำหนักโมเดลเป็น TensorFlow Lite Flatbuffer โดยใช้แพ็กเกจ MediaPipe Python ConversionConfig ควรระบุตัวเลือกโมเดลพื้นฐานและตัวเลือก LoRA เพิ่มเติม โปรดทราบว่าเนื่องจาก API รองรับเฉพาะการอนุมาน LoRA ด้วย GPU จึงต้องตั้งค่าแบ็กเอนด์เป็น 'gpu'

import mediapipe as mp
from mediapipe.tasks.python.genai import converter

config = converter.ConversionConfig(
  # Other params related to base model
  ...
  # Must use gpu backend for LoRA conversion
  backend='gpu',
  # LoRA related params
  lora_ckpt=LORA_CKPT,
  lora_rank=LORA_RANK,
  lora_output_tflite_file=LORA_OUTPUT_TFLITE_FILE,
)

converter.convert_checkpoint(config)

ตัวแปลงจะแสดงผลไฟล์ Flatbuffer ของ TFLite 2 ไฟล์ ไฟล์หนึ่งสำหรับโมเดลฐานและอีกไฟล์สำหรับโมเดล LoRA

การอนุมานโมเดล LoRA

อัปเดต LLM Inference API ของเว็บ, Android และ iOS เพื่อรองรับการอนุมานโมเดล LoRA

// Set the configuration options for the LLM Inference task
val options = LlmInferenceOptions.builder()
        .setModelPath('<path to base model>')
        .setMaxTokens(1000)
        .setTopK(40)
        .setTemperature(0.8)
        .setRandomSeed(101)
        .setLoraPath('<path to LoRA model>')
        .build()

// Create an instance of the LLM Inference task
llmInference = LlmInference.createFromOptions(context, options)

หากต้องการเรียกใช้การอนุมาน LLM ด้วย LoRA ให้ใช้วิธีการ generateResponse() หรือ generateResponseAsync() เดียวกันกับโมเดลพื้นฐาน