Detyrat në gjuhët e folura me Gemma

Përdorimi i teknologjisë së inteligjencës artificiale (AI) në një gjuhë specifike të folur është një nevojë kritike për shumë biznese që të jenë në gjendje ta përdorin atë në mënyrë efektive. Familja e modeleve Gemma ka disa aftësi shumëgjuhëshe, por përdorimi i saj në gjuhë të tjera përveç anglishtes shpesh prodhon rezultate më pak se ideale.

Për fat të mirë, nuk keni nevojë t'i mësoni Gemma një gjuhë të tërë të folur për të qenë në gjendje të kryeni detyrat në atë gjuhë. Për më tepër, ju mund të akordoni modelet Gemma për të përfunduar detyra specifike në një gjuhë me shumë më pak të dhëna dhe përpjekje sesa mund të mendoni. Duke përdorur rreth 20 shembuj kërkesash dhe përgjigjesh të pritshme në gjuhën tuaj të synuar, mund të merrni Gemma për t'ju ndihmuar të zgjidhni shumë probleme të ndryshme biznesi në gjuhën që ju shërben më së miri juve dhe klientëve tuaj.

Për një përmbledhje video të projektit dhe si ta zgjeroni atë, duke përfshirë njohuritë nga njerëzit që e ndërtojnë atë, shikoni videon e Asistentit të AI në gjuhën e folur me Google AI. Ju gjithashtu mund të rishikoni kodin për këtë projekt në depon e kodit të Gemma Cookbook . Përndryshe, mund të filloni të zgjeroni projektin duke përdorur udhëzimet e mëposhtme.

Vështrim i përgjithshëm

Ky udhëzues ju udhëzon në konfigurimin, ekzekutimin dhe zgjerimin e një aplikacioni detyrash të gjuhës së folur të ndërtuar me Gemma dhe Python. Aplikacioni ofron një ndërfaqe bazë të përdoruesit në ueb që mund ta modifikoni për t'iu përshtatur nevojave tuaja. Aplikacioni është ndërtuar për të gjeneruar përgjigje në emailet e klientëve për një furrë buke fiktive koreane dhe të gjitha hyrjet dhe daljet e gjuhës trajtohen tërësisht në koreanisht. Ju mund ta përdorni këtë model aplikacioni me çdo gjuhë dhe çdo detyrë biznesi që përdor hyrjen dhe daljen e tekstit.

Figura 1. Ndërfaqja e përdoruesit të projektit, për pyetjet me email të furrës koreane

Kërkesat e harduerit

Ekzekutoni këtë proces sintonizimi në një kompjuter me një njësi përpunimi grafik (GPU) ose një njësi përpunimi tensor (TPU) dhe memorie të mjaftueshme për të mbajtur modelin ekzistues, plus të dhënat e akordimit. Për të ekzekutuar konfigurimin e akordimit në këtë projekt, ju nevojiten rreth 16 GB memorie GPU, afërsisht e njëjta sasi RAM e zakonshme dhe një minimum prej 50 GB hapësirë ​​​​në disk.

Ju mund të ekzekutoni pjesën e akordimit të modelit Gemma të këtij tutoriali duke përdorur një mjedis Colab me një kohë ekzekutimi GPU T4 . Nëse po e ndërtoni këtë projekt në një shembull Google Cloud VM , konfiguroni shembullin duke ndjekur këto kërkesa:

• Pajisja GPU : Kërkohet një NVIDIA T4 për të ekzekutuar këtë projekt dhe rekomandohet një NVIDIA L4 ose më e lartë.
• Sistemi operativ : Zgjidhni një opsion Deep Learning në Linux , veçanërisht Deep Learning VM me CUDA 12.3 M124 me drejtues të softuerit GPU të para-instaluar.
• Madhësia e diskut të nisjes : Siguroni të paktën 50 GB hapësirë ​​në disk për të dhënat, modelet dhe softuerin tuaj mbështetës.

Vendosja e projektit

Këto udhëzime ju udhëzojnë në përgatitjen e këtij projekti për zhvillim dhe testim. Hapat e përgjithshëm të konfigurimit përfshijnë instalimin e softuerit parakusht, klonimin e projektit nga depoja e kodit, vendosjen e disa variablave të mjedisit, instalimin e bibliotekave Python dhe testimin e aplikacionit në internet.

Instaloni dhe konfiguroni

Ky projekt përdor Python 3 dhe mjedise virtuale ( venv ) për të menaxhuar paketat dhe për të ekzekutuar aplikacionin. Udhëzimet e mëposhtme të instalimit janë për një makinë pritës Linux.

Për të instaluar softuerin e kërkuar:

• Instaloni Python 3 dhe paketën e mjedisit virtual venv për Python.

  sudo apt update
  sudo apt install git pip python3-venv
  

Klononi projektin

Shkarkoni kodin e projektit në kompjuterin tuaj të zhvillimit. Ju duhet softueri i kontrollit të burimit git për të marrë kodin burimor të projektit.

Për të shkarkuar kodin e projektit:

1. Klononi depon e git duke përdorur komandën e mëposhtme.

   git clone https://github.com/google-gemini/gemma-cookbook.git
   

2. Opsionale, konfiguroni depon tuaj lokale git për të përdorur arka të pakta, në mënyrë që të keni vetëm skedarët për projektin.

   cd gemma-cookbook/
   git sparse-checkout set Demos/spoken-language-tasks/
   git sparse-checkout init --cone
   

Instaloni bibliotekat e Python

Instaloni bibliotekat e Python me mjedisin virtual venv Python të aktivizuar për të menaxhuar paketat dhe varësitë e Python. Sigurohuni që të aktivizoni mjedisin virtual të Python përpara se të instaloni bibliotekat e Python me instaluesin pip . Për më shumë informacion rreth përdorimit të mjediseve virtuale Python, shihni dokumentacionin Python venv .

Për të instaluar bibliotekat e Python:

1. Në një dritare terminali, lundroni te drejtoria spoken-language-tasks :

   cd Demos/spoken-language-tasks/
   

2. Konfiguro dhe aktivizo mjedisin virtual Python (venv) për këtë projekt:

   python3 -m venv venv
   source venv/bin/activate
   

3. Instaloni bibliotekat e kërkuara Python për këtë projekt duke përdorur skriptin setup_python .

   ./setup_python.sh
   

Vendosni variablat e mjedisit

Vendosni disa variabla mjedisi që kërkohen për të lejuar ekzekutimin e këtij projekti kodi, duke përfshirë një emër përdoruesi Kaggle dhe çelësin e kodit Kaggle. Ju duhet të keni një llogari Kaggle dhe të kërkoni qasje në modelet Gemma për t'i shkarkuar ato. Për këtë projekt, ju shtoni emrin tuaj të përdoruesit Kaggle dhe çelësin Kaggle Token në dy skedarë .env , të cilët lexohen përkatësisht nga aplikacioni në internet dhe programi i akordimit.

Për të vendosur variablat e mjedisit:

1. Merrni emrin tuaj të përdoruesit të Kaggle dhe çelësin tuaj token duke ndjekur udhëzimet në dokumentacionin Kaggle .
2. Merrni akses në modelin Gemma duke ndjekur udhëzimet për të hyrë në Gemma në faqen Gemma Setup .
3. Krijoni skedarë të ndryshueshëm të mjedisit për projektin, duke krijuar një skedar teksti .env në secilën nga këto vende në klonin tuaj të projektit:

   k-mail-replier/k_mail_replier/.env
   k-gemma-it/.env
   

4. Pas krijimit të skedarëve të tekstit .env , shtoni cilësimet e mëposhtme në të dy skedarët:

   KAGGLE_USERNAME=<YOUR_KAGGLE_USERNAME_HERE>
   KAGGLE_KEY=<YOUR_KAGGLE_KEY_HERE>
   

Ekzekutoni dhe testoni aplikacionin

Pasi të keni përfunduar instalimin dhe konfigurimin e projektit, ekzekutoni aplikacionin në internet për të konfirmuar që e keni konfiguruar saktë. Ju duhet ta bëni këtë si një kontroll bazë përpara se të redaktoni projektin për përdorimin tuaj.

Për të ekzekutuar dhe testuar projektin:

1. Në një dritare terminali, lundroni në drejtorinë /k_mail_replier/ :

   cd spoken-language-tasks/k-mail-replier/
   

2. Ekzekutoni aplikacionin duke përdorur skriptin run_flask_app.sh :

   ./run_flask_app.sh
   

3. Pas nisjes së aplikacionit në ueb, kodi i programit liston një URL ku mund të shfletoni dhe provoni. Në mënyrë tipike, kjo adresë është:

   http://127.0.0.1:5000/
   

4. Në ndërfaqen e internetit, shtypni butonin 답변 작성 poshtë fushës së parë të hyrjes për të gjeneruar një përgjigje nga modeli.

Përgjigja e parë nga modeli pasi të keni ekzekutuar aplikacionin zgjat më shumë pasi duhet të përfundojë hapat e inicializimit në ekzekutimin e gjeneratës së parë. Kërkesat e mëvonshme të menjëhershme dhe gjenerimi në një aplikacion uebi tashmë të ekzekutuar përfundojnë në më pak kohë.

Zgjero aplikacionin

Pasi të keni ekzekutuar aplikacionin, mund ta zgjeroni atë duke modifikuar ndërfaqen e përdoruesit dhe logjikën e biznesit për ta bërë atë të funksionojë për detyrat që janë të rëndësishme për ju ose biznesin tuaj. Ju gjithashtu mund të modifikoni sjelljen e modelit Gemma duke përdorur kodin e aplikacionit duke ndryshuar përbërësit e kërkesës që aplikacioni dërgon te modeli gjenerues i AI.

Aplikacioni ofron udhëzime për modelin së bashku me të dhënat hyrëse nga përdoruesi një kërkesë të plotë të modelit. Ju mund t'i modifikoni këto udhëzime për të ndryshuar sjelljen e modelit, si p.sh. të specifikoni që modeli duhet të nxjerrë informacion nga kërkesa dhe ta vendosë atë në format të strukturuar të të dhënave, si p.sh. JSON. Një mënyrë më e thjeshtë për të ndryshuar sjelljen e modelit është të jepni udhëzime ose udhëzime shtesë për përgjigjen e modelit, si p.sh. të specifikoni që përgjigjet e krijuara duhet të shkruhen me një ton të sjellshëm.

Për të modifikuar udhëzimet e menjëhershme:

1. Në projektin e detyrës së gjuhës së folur, hap skedarin e kodit k-mail-replier/k_mail_replier/app.py .

2. Në kodin app.py , shtoni udhëzime shtesë në funksionin get_prompt():

   def get_prompt():
       return "발신자에게 요청에 대한 감사를 전하고, 곧 자세한 내용을
           알려드리겠다고 정중하게 답장해 주세요. 정중하게 답변해 주세요!:\n"
   

Ky shembull shton frazën "Ju lutemi shkruani një përgjigje të sjellshme!" sipas udhëzimeve në gjuhën koreane.

Sigurimi i udhëzimeve shtesë të menjëhershme mund të ndikojë fuqishëm në rezultatin e gjeneruar dhe kërkon shumë më pak përpjekje për t'u zbatuar. Së pari duhet ta provoni këtë metodë për të parë nëse mund të merrni sjelljen që dëshironi nga modeli. Megjithatë, përdorimi i udhëzimeve të menjëhershme për të modifikuar sjelljen e një modeli Gemma ka kufijtë e tij. Në veçanti, kufiri i përgjithshëm i shenjave hyrëse të modelit, i cili është 8,192 tokena për Gemma 2, kërkon që ju të balanconi udhëzimet e detajuara të menjëhershme me madhësinë e të dhënave të reja që jepni, në mënyrë që të qëndroni nën atë kufi.

Për më tepër, kur dëshironi që Gemma të kryejë detyra në një gjuhë të ndryshme nga anglishtja, thjesht nxitja e modelit bazë nuk ka të ngjarë të prodhojë rezultate të dobishme të besueshme. Në vend të kësaj, duhet të akordoni modelin me shembuj në gjuhën e synuar dhe më pas të konsideroni modifikimin e udhëzimeve të menjëhershme për të bërë rregullime më të vogla në daljen e modelit të akorduar.

Akordoni modelin

Kryerja e rregullimit të saktë të një modeli Gemma është mënyra e rekomanduar për ta bërë atë të përgjigjet në mënyrë efektive në një gjuhë të folur përveç anglishtes. Sidoqoftë, nuk keni nevojë të synoni rrjedhshmërinë e plotë të gjuhës suaj të synuar që modeli të jetë në gjendje të kryejë detyrat në atë gjuhë. Ju mund të arrini funksionalitetin bazë në gjuhën tuaj të synuar për një detyrë me rreth 20 shembuj. Ky seksion i tutorialit shpjegon se si të konfiguroni dhe ekzekutoni rregullimin e imët në një model Gemma për një detyrë specifike, në një gjuhë specifike.

Udhëzimet e mëposhtme shpjegojnë se si të kryeni funksionin e rregullimit të imët në një mjedis VM, megjithatë, mund ta kryeni këtë operacion akordimi duke përdorur fletoren e lidhur Colab për këtë projekt.

Kërkesat e harduerit

Kërkesat llogaritëse për rregullimin e imët janë të njëjta me kërkesat e harduerit për pjesën tjetër të projektit. Mund ta ekzekutoni operacionin e akordimit në një mjedis Colab me një kohë funksionimi GPU T4 nëse i kufizoni shenjat hyrëse në 256 dhe madhësinë e grupit në 1.

Përgatitni të dhënat

Para se të filloni akordimin e një modeli Gemma, duhet të përgatisni të dhëna për akordim. Kur po rregulloni një model për një detyrë dhe gjuhë specifike, ju nevojitet një grup shembujsh kërkesash dhe përgjigjesh në atë gjuhë të synuar. Këta shembuj duhet të tregojnë tekstin e kërkesës, pa asnjë udhëzim , dhe tekstin e pritur të përgjigjes. Për të filluar, duhet të përgatisni një grup të dhënash me rreth 20 shembuj. Këta shembuj duhet të përfaqësojnë një shumëllojshmëri të plotë kërkesash dhe përgjigjet ideale. Sigurohuni që kërkesat dhe përgjigjet të mos jenë të përsëritura, pasi kjo mund të shkaktojë që përgjigjet e modeleve të jenë të përsëritura dhe të mos përshtaten siç duhet me variacionet e kërkesave. Tabela e mëposhtme tregon disa regjistrime mostra nga grupi i të dhënave të këtij shembulli të kodit:

Tabela 1. Lista e pjesshme e të dhënave të akordimit për përgjigjen e emailit të furrës koreane.

Formati dhe ngarkimi i të dhënave

Ju mund t'i ruani të dhënat tuaja të akordimit në çdo format që është i përshtatshëm, duke përfshirë regjistrimet e bazës së të dhënave, skedarët JSON, CSV ose skedarët e tekstit të thjeshtë, për sa kohë që keni mjetet për të tërhequr të dhënat me kodin Python. Për lehtësi, programi i akordimit të shembullit merr të dhënat nga një depo në internet . Në këtë shembull të programit të rrotullimit, grupi i të dhënave akorduese ngarkohet në modulin k-gemma-it/main.py duke përdorur funksionin prepare_tuning_dataset() :

def prepare_tuning_dataset():
    tokenizer = keras_nlp.models.GemmaTokenizer.from_preset(model_id)

    # load data from repository (or local directory)
    from datasets import load_dataset
    ds = load_dataset(
        # Dataset : https://huggingface.co/datasets/bebechien/korean_cake_boss
        "bebechien/korean_cake_boss",
        split="train",
    )
    ...

Siç u përmend më parë, ju mund ta ruani grupin e të dhënave në një format që është i përshtatshëm, për sa kohë që mund t'i rikuperoni kërkesat me përgjigjet e lidhura dhe t'i grumbulloni ato në një varg teksti që përdoret si një rekord akordimi.

Mblidhni rekorde akordimi

Për procesin aktual të akordimit, çdo kërkesë dhe përgjigje mblidhet në një varg të vetëm me udhëzimet dhe etiketat e menjëhershme për të treguar përmbajtjen e kërkesës dhe përmbajtjen e përgjigjes. Ky program akordimi më pas shënon vargun për konsum nga modeli. Ju mund të shihni kodin për montimin e një rekord akordimi në funksionin e modulit k-gemma-it/main.py prepare_tuning_dataset() , si më poshtë:

def prepare_tuning_dataset():
    ...
    prompt_instruction = "다음에 대한 이메일 답장을 작성해줘."

    for x in data:
        item = f"<start_of_turn>user\n{prompt_instruction}\n\"{x['input']}\"<end_of_turn>\n<start_of_turn>model\n{x['output']}<end_of_turn>"
        length = len(tokenizer(item))
        # skip data if the token length is longer than our limit
        if length < token_limit:
            tuning_dataset.append(item)
            if(len(tuning_dataset)>=num_data_limit):
                break
    ...

Ky funksion i lexon të dhënat dhe i formaton duke shtuar etiketat start_of_turn dhe end_of_turn që është formati i kërkuar kur jep të dhëna për akordimin e një modeli Gemma. Ky kod gjithashtu fut një prompt_instruction për çdo kërkesë, të cilën duhet ta modifikoni sipas nevojës për aplikacionin tuaj.

Gjeneroni pesha të modelit

Pasi të keni vendosur dhe ngarkuar të dhënat e akordimit, mund të ekzekutoni programin e akordimit. Procesi i akordimit për këtë aplikacion shembull përdor bibliotekën Keras NLP për të akorduar modelin me një Përshtatje me gradë të ulët , ose teknikë LoRA, për të gjeneruar pesha të reja të modelit. Krahasuar me akordimin me saktësi të plotë, përdorimi i LoRA është dukshëm më efikas i memories sepse përafron ndryshimet në peshat e modelit. Më pas mund t'i mbivendosni këto pesha të përafërta mbi peshat ekzistuese të modelit për të ndryshuar sjelljen e modelit.

Për të kryer akordimin dhe llogaritjen e peshave të reja:

1. Në një dritare terminali, lundroni te drejtoria k-gemma-it/ .

   cd spoken-language-tasks/k-gemma-it/
   

2. Ekzekutoni procesin e akordimit duke përdorur skriptin tune_model :

   ./tune_model.sh
   

Procesi i akordimit zgjat disa minuta në varësi të burimeve tuaja llogaritëse të disponueshme. Kur përfundon me sukses, programi i akordimit shkruan skedarë të rinj *.h5 peshë në drejtorinë k-gemma-it/weights me formatin e mëposhtëm:

gemma2-2b_k-tuned_4_epoch##.lora.h5

Zgjidhja e problemeve

Nëse akordimi nuk përfundon me sukses, ka dy arsye të mundshme:

1. Pa memorie / burime të shteruara : Këto gabime ndodhin kur procesi i akordimit kërkon memorie që tejkalon memorien e disponueshme GPU ose memorien e CPU. Sigurohuni që nuk po ekzekutoni aplikacionin në ueb ndërsa procesi i akordimit është duke u ekzekutuar. Nëse po akordoni në një pajisje me 16 GB memorie GPU, sigurohuni që token_limit të jetë vendosur në 256 dhe batch_size në 1 .
2. Drejtuesit e GPU nuk janë të instaluar ose të papajtueshëm me JAX : Procesi i rrotullimit kërkon që pajisja llogaritëse të ketë të instaluar drejtues harduerësh që janë të pajtueshëm me versionin e bibliotekave JAX . Për më shumë detaje, shihni dokumentacionin e instalimit të JAX .

Vendosni modelin e akorduar

Procesi i akordimit gjeneron pesha të shumta bazuar në të dhënat e akordimit dhe numrin total të epokave të vendosura në aplikacionin e akordimit. Si parazgjedhje, programi i akordimit gjeneron 20 skedarë me peshë modeli, një për çdo epokë akordimi. Çdo epokë e njëpasnjëshme akordimi prodhon pesha që riprodhojnë më saktë rezultatet e të dhënave të akordimit. Ju mund të shihni normat e saktësisë për çdo epokë në daljen e terminalit të procesit të akordimit, si më poshtë:

...
Epoch 14/20
10/10 ━━━━━━━━━━━━━━━━━━━━ 6s 567ms/step - loss: 0.4026 - sparse_categorical_accuracy: 0.8235
Epoch 15/20
10/10 ━━━━━━━━━━━━━━━━━━━━ 6s 569ms/step - loss: 0.3659 - sparse_categorical_accuracy: 0.8382
Epoch 16/20
10/10 ━━━━━━━━━━━━━━━━━━━━ 6s 571ms/step - loss: 0.3314 - sparse_categorical_accuracy: 0.8538
Epoch 17/20
10/10 ━━━━━━━━━━━━━━━━━━━━ 6s 572ms/step - loss: 0.2996 - sparse_categorical_accuracy: 0.8686
Epoch 18/20
10/10 ━━━━━━━━━━━━━━━━━━━━ 6s 574ms/step - loss: 0.2710 - sparse_categorical_accuracy: 0.8801
Epoch 19/20
10/10 ━━━━━━━━━━━━━━━━━━━━ 6s 575ms/step - loss: 0.2451 - sparse_categorical_accuracy: 0.8903
Epoch 20/20
10/10 ━━━━━━━━━━━━━━━━━━━━ 6s 575ms/step - loss: 0.2212 - sparse_categorical_accuracy: 0.9021

Ndërsa dëshironi që shkalla e saktësisë të jetë relativisht e lartë, rreth 0,80 deri në 0,90, ju nuk dëshironi që norma të jetë shumë e lartë, ose shumë afër 1,00, sepse kjo do të thotë se peshat i janë afruar mbipërshtatjes së të dhënave të akordimit. Kur kjo ndodh, modeli nuk funksionon mirë në kërkesat që janë dukshëm të ndryshme nga shembujt e akordimit. Si parazgjedhje, skripti i vendosjes zgjedh peshat e epokës 17, të cilat zakonisht kanë një shkallë saktësie rreth 0,90.

Për të vendosur peshat e krijuara në aplikacionin në internet:

1. Në një dritare terminali, lundroni te drejtoria k-gemma-it/ .

   cd spoken-language-tasks/k-gemma-it/
   

2. Ekzekutoni procesin e akordimit duke përdorur skriptin deploy_weights :

   ./deploy_weights.sh
   

Pas ekzekutimit të këtij skripti, duhet të shihni një skedar të ri *.h5 në drejtorinë k-mail-replier/k_mail_replier/weights/ .

Testoni modelin e ri

Pasi të keni vendosur peshat e reja në aplikacion, është koha të provoni modelin e akorduar rishtazi. Ju mund ta bëni këtë duke ridrejtuar aplikacionin në internet dhe duke gjeneruar një përgjigje.

Për të ekzekutuar dhe testuar projektin:

1. Në një dritare terminali, lundroni te drejtoria /k_mail_replier/ .

   cd spoken-language-tasks/k-mail-replier/
   

2. Ekzekutoni aplikacionin duke përdorur skriptin run_flask_app.sh :

   ./run_flask_app.sh
   

3. Pas nisjes së aplikacionit në ueb, kodi i programit liston një URL ku mund të shfletoni dhe testoni, zakonisht kjo adresë është:

   http://127.0.0.1:5000/
   

4. Në ndërfaqen e internetit, shtypni butonin 답변 작성 poshtë fushës së parë të hyrjes për të gjeneruar një përgjigje nga modeli.

Tani keni akorduar dhe vendosur një model Gemma në një aplikacion! Eksperimentoni me aplikacionin dhe përpiquni të përcaktoni kufijtë e aftësisë gjeneruese të modelit të akorduar për detyrën tuaj. Nëse gjeni skenarë ku modeli nuk funksionon mirë, merrni parasysh shtimin e disa prej këtyre kërkesave në listën tuaj të të dhënave të shembullit të akordimit duke shtuar kërkesën dhe duke ofruar një përgjigje ideale. Më pas rinisni procesin e akordimit, ri-vendosni peshat e reja dhe provoni daljen.

Burime shtesë

Për më shumë informacion rreth këtij projekti, shihni depon e kodit të Gemma Cookbook . Nëse keni nevojë për ndihmë në ndërtimin e aplikacionit ose po kërkoni të bashkëpunoni me zhvillues të tjerë, shikoni serverin Google Developers Community Discord . Për më shumë projekte Build with Google AI, shikoni listën e luajtjes së videove .