این راهنما شما را با نحوه تنظیم دقیق Gemma در مجموعه داده سفارشی متن به sql با استفاده از Hugging Face Transformers و TRL آشنا میکند. یاد خواهید گرفت:
- سازگاری با رتبه پایین کوانتیزه (QLoRA) چیست؟
- راه اندازی محیط توسعه
- مجموعه داده تنظیم دقیق را ایجاد و آماده کنید
- Gemma را با استفاده از TRL و SFTTrainer تنظیم کنید
- استنتاج مدل را تست کنید و پرس و جوهای SQL را ایجاد کنید
سازگاری با رتبه پایین کوانتیزه (QLoRA) چیست؟
این راهنما استفاده از انطباق با رتبه پایین کوانتیزه شده (QLoRA) را نشان میدهد که به عنوان یک روش محبوب برای تنظیم دقیق LLMها ظاهر شد زیرا نیاز به منابع محاسباتی را کاهش میدهد و در عین حال عملکرد بالا را حفظ میکند. در QloRA، مدل از پیش آموزش دیده به 4 بیت کوانتیزه می شود و وزن ها منجمد می شوند. سپس لایه های آداپتور قابل آموزش (LoRA) متصل می شوند و فقط لایه های آداپتور آموزش داده می شوند. پس از آن، وزن آداپتور را می توان با مدل پایه ادغام کرد یا به عنوان یک آداپتور جداگانه نگهداری کرد.
راه اندازی محیط توسعه
اولین قدم نصب کتابخانههای Hugging Face، از جمله TRL، و مجموعه دادهها برای تنظیم دقیق مدل باز، از جمله تکنیکهای مختلف RLHF و تراز است.
# Install Pytorch & other libraries
%pip install "torch>=2.4.0" tensorboard
# Install Gemma release branch from Hugging Face
%pip install "transformers>=4.51.3"
# Install Hugging Face libraries
%pip install --upgrade \
"datasets==3.3.2" \
"accelerate==1.4.0" \
"evaluate==0.4.3" \
"bitsandbytes==0.45.3" \
"trl==0.15.2" \
"peft==0.14.0" \
protobuf \
sentencepiece
# COMMENT IN: if you are running on a GPU that supports BF16 data type and flash attn, such as NVIDIA L4 or NVIDIA A100
#% pip install flash-attn
توجه: اگر از یک پردازنده گرافیکی با معماری Ampere (مانند NVIDIA L4) یا جدیدتر استفاده می کنید، می توانید از توجه Flash استفاده کنید. توجه فلش روشی است که به طور قابل توجهی سرعت محاسبات را افزایش می دهد و استفاده از حافظه را از درجه دوم به خطی در طول دنباله کاهش می دهد و منجر به تسریع تمرین تا 3 برابر می شود. در FlashAttention بیشتر بیاموزید.
قبل از شروع آموزش، باید مطمئن شوید که شرایط استفاده از Gemma را پذیرفته اید. میتوانید با کلیک بر روی دکمه Agree and Access Repository در صفحه مدل در آدرس: http://huggingface.co/google/gemma-3-1b-pt مجوز را در Hugging Face بپذیرید.
بعد از اینکه مجوز را پذیرفتید، برای دسترسی به مدل به یک نشانه معتبر Hugging Face نیاز دارید. اگر در داخل یک Google Colab در حال اجرا هستید، میتوانید با استفاده از رمزهای Colab به طور ایمن از نشانه Hugging Face خود استفاده کنید، در غیر این صورت میتوانید توکن را مستقیماً در روش login
تنظیم کنید. مطمئن شوید که توکن شما نیز دسترسی نوشتن دارد، زیرا در طول آموزش مدل خود را به هاب فشار می دهید.
from google.colab import userdata
from huggingface_hub import login
# Login into Hugging Face Hub
hf_token = userdata.get('HF_TOKEN') # If you are running inside a Google Colab
login(hf_token)
مجموعه داده تنظیم دقیق را ایجاد و آماده کنید
هنگام تنظیم دقیق LLM ها، دانستن موارد استفاده و وظیفه ای که می خواهید حل کنید بسیار مهم است. این به شما کمک می کند یک مجموعه داده برای تنظیم دقیق مدل خود ایجاد کنید. اگر هنوز مورد استفاده خود را تعریف نکرده اید، ممکن است بخواهید به صفحه طراحی برگردید.
به عنوان مثال، این راهنما بر موارد استفاده زیر تمرکز دارد:
- یک زبان طبیعی را به مدل SQL برای ادغام یکپارچه در یک ابزار تجزیه و تحلیل داده ها تنظیم کنید. هدف این است که زمان و تخصص مورد نیاز برای تولید پرس و جو SQL را به میزان قابل توجهی کاهش دهیم و حتی کاربران غیر فنی را قادر به استخراج بینش معنادار از داده ها می کنند.
تبدیل متن به SQL می تواند مورد استفاده خوبی برای تنظیم دقیق LLM باشد، زیرا این یک کار پیچیده است که به دانش (داخلی) زیادی در مورد داده ها و زبان SQL نیاز دارد.
هنگامی که تشخیص دادید که تنظیم دقیق راه حل مناسبی است، برای تنظیم دقیق به یک مجموعه داده نیاز دارید. مجموعه داده باید مجموعه ای متنوع از نمایش های تکلیفی باشد که می خواهید حل کنید. راه های مختلفی برای ایجاد چنین مجموعه داده ای وجود دارد، از جمله:
- استفاده از مجموعه داده های منبع باز موجود، مانند Spider
- استفاده از مجموعه داده های مصنوعی ایجاد شده توسط LLM ها، مانند آلپاکا
- استفاده از مجموعه داده های ایجاد شده توسط انسان، مانند دالی .
- استفاده از ترکیبی از روش ها، مانند Orca
هر کدام از روش ها مزایا و معایب خاص خود را دارند و به بودجه، زمان و کیفیت مورد نیاز بستگی دارد. به عنوان مثال، استفاده از یک مجموعه داده موجود سادهترین کار است، اما ممکن است برای استفاده خاص شما تنظیم نشود، در حالی که استفاده از متخصصان دامنه ممکن است دقیقترین باشد، اما میتواند زمانبر و پرهزینه باشد. همچنین ممکن است چندین روش را برای ایجاد یک مجموعه داده دستورالعمل ترکیب کنید، همانطور که در Orca نشان داده شده است: یادگیری پیشرو از ردپای توضیح پیچیده GPT-4.
این راهنما از یک مجموعه داده از قبل موجود ( philschmid/gretel-synthetic-text-to-sql )، یک مجموعه داده مصنوعی متن به SQL با کیفیت بالا شامل دستورالعمل های زبان طبیعی، تعاریف طرحواره، استدلال و پرس و جوی SQL مربوطه استفاده می کند.
Hugging Face TRL از قالببندی خودکار قالبهای داده گفتگو پشتیبانی میکند. این بدان معنی است که شما فقط باید مجموعه داده خود را به اشیاء json مناسب تبدیل کنید و trl
از قالب بندی و قرار دادن آن در قالب مناسب مراقبت می کند.
{"messages": [{"role": "system", "content": "You are..."}, {"role": "user", "content": "..."}, {"role": "assistant", "content": "..."}]}
{"messages": [{"role": "system", "content": "You are..."}, {"role": "user", "content": "..."}, {"role": "assistant", "content": "..."}]}
{"messages": [{"role": "system", "content": "You are..."}, {"role": "user", "content": "..."}, {"role": "assistant", "content": "..."}]}
philschmid/gretel-synthetic-text-to-sql شامل بیش از 100 هزار نمونه است. برای کوچک نگه داشتن راهنما، نمونه برداری از آن انجام می شود تا فقط از 10000 نمونه استفاده شود.
اکنون میتوانید از کتابخانه Hugging Face Datasets برای بارگیری مجموعه داده استفاده کنید و یک الگوی سریع برای ترکیب دستورالعملهای زبان طبیعی، تعریف طرحواره و افزودن یک پیام سیستم برای دستیار خود ایجاد کنید.
from datasets import load_dataset
# System message for the assistant
system_message = """You are a text to SQL query translator. Users will ask you questions in English and you will generate a SQL query based on the provided SCHEMA."""
# User prompt that combines the user query and the schema
user_prompt = """Given the <USER_QUERY> and the <SCHEMA>, generate the corresponding SQL command to retrieve the desired data, considering the query's syntax, semantics, and schema constraints.
<SCHEMA>
{context}
</SCHEMA>
<USER_QUERY>
{question}
</USER_QUERY>
"""
def create_conversation(sample):
return {
"messages": [
# {"role": "system", "content": system_message},
{"role": "user", "content": user_prompt.format(question=sample["sql_prompt"], context=sample["sql_context"])},
{"role": "assistant", "content": sample["sql"]}
]
}
# Load dataset from the hub
dataset = load_dataset("philschmid/gretel-synthetic-text-to-sql", split="train")
dataset = dataset.shuffle().select(range(12500))
# Convert dataset to OAI messages
dataset = dataset.map(create_conversation, remove_columns=dataset.features,batched=False)
# split dataset into 10,000 training samples and 2,500 test samples
dataset = dataset.train_test_split(test_size=2500/12500)
# Print formatted user prompt
print(dataset["train"][345]["messages"][1]["content"])
Gemma را با استفاده از TRL و SFTTrainer تنظیم کنید
اکنون آماده تنظیم دقیق مدل خود هستید. Hugging Face TRL SFTTrainer نظارت بر تنظیم دقیق LLM های باز را آسان می کند. SFTTrainer
یک زیر کلاس از Trainer
از کتابخانه transformers
است و از همه ویژگیهای یکسان، از جمله ورود به سیستم، ارزیابی، و چک پوینت پشتیبانی میکند، اما ویژگیهای کیفیت زندگی اضافی را اضافه میکند، از جمله:
- قالببندی مجموعه داده، از جمله فرمتهای مکالمه و دستورالعمل
- آموزش فقط در مورد تکمیل، نادیده گرفتن دستورات
- بسته بندی مجموعه داده ها برای آموزش کارآمدتر
- پشتیبانی از تنظیم دقیق پارامترها (PEFT) از جمله QloRA
- آماده سازی مدل و توکنایزر برای تنظیم دقیق مکالمه (مانند افزودن نشانه های خاص)
کد زیر مدل و توکنایزر Gemma را از Hugging Face بارگیری می کند و پیکربندی کوانتیزاسیون را اولیه می کند.
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, AutoModelForImageTextToText, BitsAndBytesConfig
# Hugging Face model id
model_id = "google/gemma-3-1b-pt" # or `google/gemma-3-4b-pt`, `google/gemma-3-12b-pt`, `google/gemma-3-27b-pt`
# Select model class based on id
if model_id == "google/gemma-3-1b-pt":
model_class = AutoModelForCausalLM
else:
model_class = AutoModelForImageTextToText
# Check if GPU benefits from bfloat16
if torch.cuda.get_device_capability()[0] >= 8:
torch_dtype = torch.bfloat16
else:
torch_dtype = torch.float16
# Define model init arguments
model_kwargs = dict(
attn_implementation="eager", # Use "flash_attention_2" when running on Ampere or newer GPU
torch_dtype=torch_dtype, # What torch dtype to use, defaults to auto
device_map="auto", # Let torch decide how to load the model
)
# BitsAndBytesConfig: Enables 4-bit quantization to reduce model size/memory usage
model_kwargs["quantization_config"] = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_use_double_quant=True,
bnb_4bit_quant_type='nf4',
bnb_4bit_compute_dtype=model_kwargs['torch_dtype'],
bnb_4bit_quant_storage=model_kwargs['torch_dtype'],
)
# Load model and tokenizer
model = model_class.from_pretrained(model_id, **model_kwargs)
tokenizer = AutoTokenizer.from_pretrained("google/gemma-3-1b-it") # Load the Instruction Tokenizer to use the official Gemma template
SFTTrainer
از یکپارچگی بومی با peft
پشتیبانی می کند، که تنظیم کارآمد LLM ها را با استفاده از QLoRA آسان می کند. شما فقط باید یک LoraConfig
ایجاد کنید و آن را در اختیار مربی قرار دهید.
from peft import LoraConfig
peft_config = LoraConfig(
lora_alpha=16,
lora_dropout=0.05,
r=16,
bias="none",
target_modules="all-linear",
task_type="CAUSAL_LM",
modules_to_save=["lm_head", "embed_tokens"] # make sure to save the lm_head and embed_tokens as you train the special tokens
)
قبل از اینکه بتوانید آموزش خود را شروع کنید، باید هایپرپارامتری را که می خواهید در یک نمونه SFTConfig
استفاده کنید، تعریف کنید.
from trl import SFTConfig
args = SFTConfig(
output_dir="gemma-text-to-sql", # directory to save and repository id
max_seq_length=512, # max sequence length for model and packing of the dataset
packing=True, # Groups multiple samples in the dataset into a single sequence
num_train_epochs=3, # number of training epochs
per_device_train_batch_size=1, # batch size per device during training
gradient_accumulation_steps=4, # number of steps before performing a backward/update pass
gradient_checkpointing=True, # use gradient checkpointing to save memory
optim="adamw_torch_fused", # use fused adamw optimizer
logging_steps=10, # log every 10 steps
save_strategy="epoch", # save checkpoint every epoch
learning_rate=2e-4, # learning rate, based on QLoRA paper
fp16=True if torch_dtype == torch.float16 else False, # use float16 precision
bf16=True if torch_dtype == torch.bfloat16 else False, # use bfloat16 precision
max_grad_norm=0.3, # max gradient norm based on QLoRA paper
warmup_ratio=0.03, # warmup ratio based on QLoRA paper
lr_scheduler_type="constant", # use constant learning rate scheduler
push_to_hub=True, # push model to hub
report_to="tensorboard", # report metrics to tensorboard
dataset_kwargs={
"add_special_tokens": False, # We template with special tokens
"append_concat_token": True, # Add EOS token as separator token between examples
}
)
شما اکنون هر بلوک ساختمانی را که برای ایجاد SFTTrainer
برای شروع آموزش مدل خود نیاز دارید، در اختیار دارید.
from trl import SFTTrainer
# Create Trainer object
trainer = SFTTrainer(
model=model,
args=args,
train_dataset=dataset["train"],
peft_config=peft_config,
processing_class=tokenizer
)
آموزش را با فراخوانی متد train()
شروع کنید.
# Start training, the model will be automatically saved to the Hub and the output directory
trainer.train()
# Save the final model again to the Hugging Face Hub
trainer.save_model()
قبل از اینکه بتوانید مدل خود را آزمایش کنید، مطمئن شوید که حافظه را آزاد کرده اید.
# free the memory again
del model
del trainer
torch.cuda.empty_cache()
هنگام استفاده از QLoRA، فقط آداپتورها را آموزش می دهید و نه مدل کامل. این بدان معناست که هنگام ذخیره مدل در طول تمرین، فقط وزن آداپتور را ذخیره می کنید و نه مدل کامل را. اگر میخواهید مدل کامل را ذخیره کنید، که استفاده از آن را با پشتههای سرویس مانند vLLM یا TGI آسانتر میکند، میتوانید وزنهای آداپتور را با استفاده از روش merge_and_unload
در وزنهای مدل ادغام کنید و سپس مدل را با روش save_pretrained
ذخیره کنید. این یک مدل پیش فرض را ذخیره می کند که می تواند برای استنتاج استفاده شود.
from peft import PeftModel
# Load Model base model
model = model_class.from_pretrained(model_id, low_cpu_mem_usage=True)
# Merge LoRA and base model and save
peft_model = PeftModel.from_pretrained(model, args.output_dir)
merged_model = peft_model.merge_and_unload()
merged_model.save_pretrained("merged_model", safe_serialization=True, max_shard_size="2GB")
processor = AutoTokenizer.from_pretrained(args.output_dir)
processor.save_pretrained("merged_model")
استنتاج مدل را تست کنید و پرس و جوهای SQL را ایجاد کنید
پس از پایان آموزش، می خواهید مدل خود را ارزیابی و آزمایش کنید. میتوانید نمونههای مختلف را از مجموعه داده آزمایشی بارگیری کنید و مدل را روی آن نمونهها ارزیابی کنید.
import torch
from transformers import pipeline
model_id = "gemma-text-to-sql"
# Load Model with PEFT adapter
model = model_class.from_pretrained(
model_id,
device_map="auto",
torch_dtype=torch_dtype,
attn_implementation="eager",
)
tokenizer = AutoTokenizer.from_pretrained(model_id)
بیایید یک نمونه تصادفی از مجموعه داده آزمایشی بارگذاری کنیم و یک دستور SQL ایجاد کنیم.
from random import randint
import re
# Load the model and tokenizer into the pipeline
pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)
# Load a random sample from the test dataset
rand_idx = randint(0, len(dataset["test"]))
test_sample = dataset["test"][rand_idx]
# Convert as test example into a prompt with the Gemma template
stop_token_ids = [tokenizer.eos_token_id, tokenizer.convert_tokens_to_ids("<end_of_turn>")]
prompt = pipe.tokenizer.apply_chat_template(test_sample["messages"][:2], tokenize=False, add_generation_prompt=True)
# Generate our SQL query.
outputs = pipe(prompt, max_new_tokens=256, do_sample=False, temperature=0.1, top_k=50, top_p=0.1, eos_token_id=stop_token_ids, disable_compile=True)
# Extract the user query and original answer
print(f"Context:\n", re.search(r'<SCHEMA>\n(.*?)\n</SCHEMA>', test_sample['messages'][0]['content'], re.DOTALL).group(1).strip())
print(f"Query:\n", re.search(r'<USER_QUERY>\n(.*?)\n</USER_QUERY>', test_sample['messages'][0]['content'], re.DOTALL).group(1).strip())
print(f"Original Answer:\n{test_sample['messages'][1]['content']}")
print(f"Generated Answer:\n{outputs[0]['generated_text'][len(prompt):].strip()}")
خلاصه و مراحل بعدی
این آموزش نحوه تنظیم دقیق مدل Gemma با استفاده از TRL و QLoRA را شرح می دهد. در ادامه اسناد زیر را بررسی کنید:
- نحوه تولید متن با مدل Gemma را بیاموزید.
- با نحوه تنظیم دقیق Gemma برای کارهای بینایی با استفاده از Transformers Hugging Face آشنا شوید.
- نحوه انجام تنظیم دقیق توزیع شده و استنتاج بر روی یک مدل Gemma را بیاموزید.
- نحوه استفاده از مدل های باز Gemma با Vertex AI را بیاموزید.
- نحوه تنظیم دقیق Gemma با استفاده از KerasNLP و استقرار در Vertex AI را بیاموزید.