Karta e modelit FunctionGemma

Faqja e modelit : FunctionGemma

Burimet dhe Dokumentacioni Teknik :

• Mjete për IA Gjenerative të Përgjegjshme
• FunctionGemma në Kaggle
• FunctionGemma në Vertex Model Garden

Kushtet e Përdorimit : Kushtet
Autorët : Google DeepMind

Informacion mbi modelin

Përshkrim përmbledhës dhe përkufizim i shkurtër i të dhënave hyrëse dhe dalëse.

Përshkrimi

SHËNIM: FunctionGemma është menduar të përshtatet me detaje për detyrën tuaj specifike të thirrjes së funksioneve, duke përfshirë rastet e përdorimit me shumë kthesa.

FunctionGemma është një model i lehtë dhe i hapur nga Google, i ndërtuar si bazë për krijimin e modeleve tuaja të specializuara të thirrjes së funksioneve. FunctionGemma nuk është menduar për përdorim si një model dialogu të drejtpërdrejtë dhe është projektuar të jetë shumë performues pas rregullimeve të mëtejshme, siç është tipike për modelet e kësaj madhësie. I ndërtuar mbi modelin Gemma 3 270M dhe me të njëjtin kërkim dhe teknologji të përdorur për të krijuar modelet Gemini, FunctionGemma është trajnuar posaçërisht për thirrjen e funksioneve. Modeli ka të njëjtën arkitekturë si Gemma 3, por përdor një format të ndryshëm bisede. Modeli është i përshtatshëm për thirrjen e funksioneve vetëm me tekst. Madhësia unike e vogël e bën të mundur vendosjen në mjedise me burime të kufizuara, siç janë laptopët, desktopët ose infrastruktura juaj cloud, duke demokratizuar aksesin në modelet e inteligjencës artificiale të teknologjisë së fundit dhe duke ndihmuar në nxitjen e inovacionit për të gjithë. Për më tepër, i ngjashëm me Gemma 270M bazë, modeli është optimizuar për të qenë jashtëzakonisht i gjithanshëm, performues në një shumëllojshmëri harduerësh në skenarë me një kthesë, por duhet të rregullohet në të dhëna specifike për detyra me një kthesë ose me shumë kthesa për të arritur saktësinë më të mirë në fusha specifike. Për të demonstruar se si specializimi i modelit të parametrave 270M mund të arrijë performancë të lartë në rrjedha pune specifike agjentësh, kemi nxjerrë në pah dy raste përdorimi në aplikacionin Google AI Edge Gallery .

• Kopsht i Vogël: Një model i përshtatur imët për të mundësuar një lojë interaktive të kontrolluar me zë. Ai trajton logjikën e lojës për të menaxhuar një parcelë virtuale toke, duke zbërthyer komanda si "Mbill luledielli në rreshtin e sipërm" dhe "Uji lulet në parcelat 1 dhe 2" në funksione specifike të aplikacionit (p.sh., bimë_fara, parcela_ujitjeje) dhe objektiva koordinimi. Kjo demonstron aftësinë e modelit për të drejtuar mekanikën e aplikacionit të personalizuar pa lidhje serveri.

• Veprimet Mobile: Për t'i fuqizuar zhvilluesit që të ndërtojnë agjentët e tyre ekspertë, ne kemi publikuar një set të dhënash dhe një recetë për rregullimin e imët për të demonstruar rregullimin e imët të FunctionGemma. Ai përkthen të dhënat e përdoruesit (p.sh., "Krijo një ngjarje kalendari për drekë", "Ndiz dritën e baterisë") në thirrje funksionesh që aktivizojnë mjetet e sistemit operativ Android. Ky fletore interaktive demonstron se si të merret modeli bazë FunctionGemma dhe të ndërtohet një rregullim i imët i "Veprimeve Mobile" nga e para për përdorim në aplikacionin e galerisë Google AI Edge . Ky rast përdorimi demonstron aftësinë e modelit për të vepruar si një agjent privat jashtë linje për detyrat personale të pajisjes.

Hyrjet dhe daljet

• Hyrje:
  • Varg teksti, siç është një pyetje, një kërkesë ose një dokument që do të përmblidhet
  • Konteksti total i hyrjes prej 32 mijë tokenësh
• Dalja:
  • Tekst i gjeneruar në përgjigje të të dhënave hyrëse, siç është një përgjigje për një pyetje ose një përmbledhje e një dokumenti
  • Konteksti total i daljes deri në 32 mijë tokena për kërkesë, duke zbritur tokenat e hyrjes së kërkesës

Të dhënat e modelit

Të dhënat e përdorura për trajnimin e modelit dhe mënyra se si u përpunuan të dhënat.

Seti i të dhënave të trajnimit

Këto modele u trajnuan në një grup të dhënash me tekst që përfshin një gamë të gjerë burimesh. Modeli u trajnua me tokena 6T. Data e fundit e marrjes së njohurive për të dhënat e trajnimit ishte gushti 2024. Këto janë komponentët kryesorë:

• Përkufizimet e Mjeteve Publike - API-të e zakonshme që gjenden në internet
• Ndërveprimet e Përdorimit të Mjetit - Këto janë një përzierje e kërkesave, thirrjeve të funksioneve, përgjigjeve të funksioneve dhe përgjigjeve të gjuhës natyrore nga modeli për të përmbledhur përgjigjen e thirrjes së funksionit ose për të kërkuar sqarime kur kërkesa është e paqartë ose e paplotë.

Parapërpunimi i të dhënave

Këtu janë metodat kryesore të pastrimit dhe filtrimit të të dhënave të aplikuara në të dhënat e trajnimit:

• Filtrimi i CSAM: Filtrimi rigoroz i CSAM (Materialit të Abuzimit Seksual me Fëmijë) u aplikua në faza të shumëfishta në procesin e përgatitjes së të dhënave për të siguruar përjashtimin e përmbajtjes së dëmshme dhe të paligjshme.
• Filtrimi i të Dhënave të Ndjeshme: Si pjesë e bërjes së modeleve të para-trajnuara Gemma të sigurta dhe të besueshme, u përdorën teknika të automatizuara për të filtruar informacione të caktuara personale dhe të dhëna të tjera të ndjeshme nga grupet e trajnimit.
• Metoda shtesë: Filtrimi bazuar në cilësinë dhe sigurinë e përmbajtjes në përputhje me politikat tona .

Informacion mbi Zbatimin

Detajet rreth karakteristikave të brendshme të modelit.

Pajisje

Gemma u trajnua duke përdorur harduerin e Njësisë së Përpunimit Tensor (TPU) (TPUv4p, TPUv5p dhe TPUv5e). Trajnimi i modeleve të gjuhës së vizionit (VLM) kërkon fuqi të konsiderueshme llogaritëse. TPU-të, të projektuara posaçërisht për operacionet e matricës të zakonshme në të mësuarit automatik, ofrojnë disa përparësi në këtë fushë:

• Performanca: TPU-të janë projektuar posaçërisht për të përballuar llogaritjet masive të përfshira në trajnimin e VLM-ve. Ato mund ta përshpejtojnë trajnimin ndjeshëm krahasuar me CPU-të.
• Memoria: TPU-të shpesh vijnë me sasi të mëdha memorieje me gjerësi të lartë brezi, duke lejuar trajtimin e modeleve dhe madhësive të mëdha të grupeve gjatë trajnimit. Kjo mund të çojë në cilësi më të mirë të modelit.
• Shkallëzueshmëria: TPU Pods (grupe të mëdha TPU-sh) ofrojnë një zgjidhje të shkallëzueshme për trajtimin e kompleksitetit në rritje të modeleve të mëdha të themeleve. Ju mund të shpërndani trajnimin nëpër pajisje të shumta TPU për përpunim më të shpejtë dhe më efikas.
• Efektiviteti i kostos: Në shumë skenarë, TPU-të mund të ofrojnë një zgjidhje më efektive nga ana e kostos për trajnimin e modeleve të mëdha krahasuar me infrastrukturën e bazuar në CPU, veçanërisht kur merret parasysh koha dhe burimet e kursyera për shkak të trajnimit më të shpejtë.
• Këto avantazhe janë në përputhje me angazhimet e Google për të vepruar në mënyrë të qëndrueshme .

Softuer

Trajnimi u krye duke përdorur JAX dhe ML Pathways . JAX u lejon studiuesve të përfitojnë nga gjenerata më e fundit e pajisjeve, duke përfshirë TPU-të, për trajnim më të shpejtë dhe më efikas të modeleve të mëdha. ML Pathways është përpjekja më e fundit e Google për të ndërtuar sisteme me inteligjencë artificiale të afta për të përgjithësuar në detyra të shumëfishta. Kjo është veçanërisht e përshtatshme për modelet themelore, duke përfshirë modelet e mëdha gjuhësore si këto.
Së bashku, JAX dhe ML Pathways përdoren siç përshkruhet në punimin rreth familjes së modeleve Gemini ; "modeli i programimit 'kontrollues i vetëm' i Jax dhe Pathways lejon që një proces i vetëm Python të orkestrojë të gjithë rrjedhën e trajnimit, duke thjeshtuar në mënyrë dramatike rrjedhën e punës së zhvillimit."

Vlerësimi

Metrikat dhe rezultatet e vlerësimit të modelit.

Rezultatet e pikës referuese

Ndikimi në Performancë pas Rregullimit të Përsosmërisë në të Dhënat e Veprimeve Mobile
Për të demonstruar vlerën e specializimit për modelet e vogla gjuhësore, krahasuam modelin bazë FunctionGemma me modelin e përmirësuar duke përdorur recetën "Veprimet Mobile". Ky përmirësim përmirësoi ndjeshëm aftësinë e modelit bazë FunctionGemma për të identifikuar dhe formatuar saktë thirrjet e sistemit celular.

Performanca në pajisje e Gemma 270m Raste përdorimi të përmirësuara
Ne vlerësuam rastet e përdorimit të përmirësuara në një Samsung S25 Ultra për të vlerësuar vonesën në pajisje dhe gjurmën e memories.

• Konteksti: 512 tokenë paraprakëplotësimi dhe 32 tokenë dekodimi.
• Pajisjet: CPU S25 Ultra duke përdorur delegatin LiteRT XNNPACK me 4 fije.

Performanca e Pajisjes Mobile Actions

Performanca e Pajisjes së Kopshtit të Vogël

Etika dhe Siguria

Qasja dhe rezultatet e vlerësimit të etikës dhe sigurisë.

Qasja e Vlerësimit

Metodat tona të vlerësimit përfshijnë vlerësime të strukturuara dhe testime të brendshme të red-teaming të politikave përkatëse të përmbajtjes. Red-teaming u krye nga një numër ekipesh të ndryshme, secila me qëllime dhe metrika të ndryshme të vlerësimit njerëzor. Këto modele u vlerësuan kundrejt një numri kategorish të ndryshme relevante për etikën dhe sigurinë, duke përfshirë:

• Siguria e fëmijëve : Vlerësimi i kërkesave për konvertimin e tekstit në tekst dhe imazhit në tekst që mbulojnë politikat e sigurisë së fëmijëve, duke përfshirë abuzimin dhe shfrytëzimin seksual të fëmijëve.
• Siguria e përmbajtjes: Vlerësimi i kërkesave nga teksti në tekst dhe nga imazhi në tekst që mbulojnë politikat e sigurisë, duke përfshirë ngacmimin, dhunën dhe gjakderdhjen, si dhe gjuhën e urrejtjes.
• Dëmet Përfaqësuese : Vlerësimi i kërkesave nga teksti në tekst dhe nga imazhi në tekst që mbulojnë politikat e sigurisë, duke përfshirë paragjykimet, stereotipet dhe shoqatat ose pasaktësitë e dëmshme.

Rezultatet e Vlerësimit

Për të gjitha fushat e testimit të sigurisë, pamë përmirësime të mëdha në kategoritë e sigurisë së fëmijëve, sigurisë së përmbajtjes dhe dëmeve përfaqësuese në krahasim me modelet e mëparshme Gemma. I gjithë testimi u krye pa filtra sigurie për të vlerësuar aftësitë dhe sjelljet e modelit. Modeli prodhoi shkelje minimale të politikave dhe tregoi përmirësime të konsiderueshme në krahasim me performancën e modeleve të mëparshme Gemma në lidhje me përfundimet e pabazuara. Një kufizim i vlerësimeve tona ishte se ato përfshinin vetëm pyetje në gjuhën angleze.

Përdorimi dhe Kufizimet

Këto modele kanë disa kufizime për të cilat përdoruesit duhet të jenë të vetëdijshëm.

Përdorimi i synuar

Ky model nuk është menduar të përdoret si model dialogu i drejtpërdrejtë.
Modelet e Hapura të Gjuhës së Madhe (LLM) kanë një gamë të gjerë aplikimesh në industri dhe fusha të ndryshme. Lista e mëposhtme e përdorimeve të mundshme nuk është gjithëpërfshirëse. Qëllimi i kësaj liste është të ofrojë informacion kontekstual rreth rasteve të mundshme të përdorimit që krijuesit e modeleve i kanë konsideruar si pjesë të trajnimit dhe zhvillimit të modeleve.

• Krijimi i Përmbajtjes dhe Komunikimi
  • Gjenerimi i Tekstit: Këto modele mund të përdoren për të gjeneruar formate krijuese teksti, të tilla si poema, skripte, kod, tekste marketingu dhe drafte email-esh.
  • Chatbotët dhe IA Biseduese: Fuqizojnë ndërfaqet biseduese për shërbimin ndaj klientit, asistentët virtualë ose aplikacionet interaktive.
  • Përmbledhja e Tekstit: Gjeneroni përmbledhje koncize të një korpusi teksti, punimesh kërkimore ose raportesh.
• Kërkim dhe Edukim
  • Hulumtimi i Përpunimit të Gjuhës Natyrore (NLP): Këto modele mund të shërbejnë si bazë për studiuesit për të eksperimentuar me teknikat NLP, për të zhvilluar algoritme dhe për të kontribuar në përparimin e fushës.
  • Mjete për të mësuar gjuhë: Mbështetin përvojat interaktive të të mësuarit të gjuhëve, duke ndihmuar në korrigjimin gramatikor ose duke ofruar praktikë në shkrim.
  • Eksplorimi i Njohurive: Ndihmoni studiuesit në eksplorimin e sasive të mëdha teksti duke gjeneruar përmbledhje ose duke iu përgjigjur pyetjeve rreth temave specifike.

Kufizime

• Të dhënat e trajnimit
  • Cilësia dhe diversiteti i të dhënave të trajnimit ndikojnë ndjeshëm në aftësitë e modelit. Paragjykimet ose boshllëqet në të dhënat e trajnimit mund të çojnë në kufizime në përgjigjet e modelit.
  • Shtrirja e të dhënave të trajnimit përcakton fushat lëndore që modeli mund të trajtojë në mënyrë efektive.
• Konteksti dhe Kompleksiteti i Detyrave
  • Modelet janë më të mira në detyrat që mund të formulohen me udhëzime dhe sugjerime të qarta. Detyrat me fund të hapur ose shumë komplekse mund të jenë sfiduese.
  • Performanca e një modeli mund të ndikohet nga sasia e kontekstit të ofruar (konteksti më i gjatë në përgjithësi çon në rezultate më të mira, deri në një pikë të caktuar).
• Dykuptimësia dhe Nuanca Gjuhësore
  • Gjuha natyrore është në thelb komplekse. Modelet mund të kenë vështirësi në kapjen e nuancave delikate, sarkazmës ose gjuhës figurative.
• Saktësia faktike
  • Modelet gjenerojnë përgjigje bazuar në informacionin që kanë mësuar nga të dhënat e tyre të trajnimit, por ato nuk janë baza njohurish. Ato mund të gjenerojnë deklarata faktike të pasakta ose të vjetruara.
• Logjikë e shëndoshë
  • Modelet mbështeten në modele statistikore në gjuhë. Ato mund të mos kenë aftësinë për të zbatuar arsyetimin e bazuar në logjikën e shëndoshë në situata të caktuara.

Konsideratat dhe Rreziqet Etike

Zhvillimi i modeleve të mëdha gjuhësore (LLM) ngre disa shqetësime etike. Gjatë krijimit të një modeli të hapur, ne kemi marrë në konsideratë me kujdes sa vijon:

• Paragjykim dhe Drejtësi
  • Të trajnuarit në të dhëna tekstuale në shkallë të gjerë, nga bota reale, mund të pasqyrojnë paragjykimet socio-kulturore të përfshira në materialin e trajnimit. Këto modele iu nënshtruan një shqyrtimi të kujdesshëm, u përshkrua përpunimi paraprak i të dhënave hyrëse dhe u raportuan vlerësime të mëvonshme në këtë dokument.
• Keqinformimi dhe Keqpërdorimi
  • Diplomat LLM mund të keqpërdoren për të gjeneruar tekst që është i rremë, mashtrues ose i dëmshëm.
  • Janë dhënë udhëzime për përdorim të përgjegjshëm të modelit, shih Mjetin e IA-së Gjenerative të Përgjegjshme .
• Transparenca dhe Llogaridhënia:
  • Kjo kartë modeli përmbledh detaje mbi arkitekturën, aftësitë, kufizimet dhe proceset e vlerësimit të modeleve.
  • Një model i hapur i zhvilluar me përgjegjësi ofron mundësinë për të ndarë inovacionin duke e bërë teknologjinë LLM të arritshme për zhvilluesit dhe studiuesit në të gjithë ekosistemin e IA-së.

Rreziqet e identifikuara dhe zbutjet:

• Përjetësimi i paragjykimeve: Inkurajohet të kryhet monitorim i vazhdueshëm (duke përdorur metrika vlerësimi, rishikim njerëzor) dhe eksplorimi i teknikave të heqjes së paragjykimeve gjatë trajnimit të modelit, rregullimit të imët dhe rasteve të tjera të përdorimit.
• Gjenerimi i përmbajtjes së dëmshme: Mekanizmat dhe udhëzimet për sigurinë e përmbajtjes janë thelbësore. Zhvilluesit inkurajohen të tregojnë kujdes dhe të zbatojnë masa mbrojtëse të përshtatshme për sigurinë e përmbajtjes bazuar në politikat e tyre specifike të produktit dhe rastet e përdorimit të aplikacionit.
• Keqpërdorimi për qëllime keqdashëse: Kufizimet teknike dhe edukimi i zhvilluesve dhe përdoruesve fundorë mund të ndihmojnë në zbutjen e zbatimeve keqdashëse të LLM-ve. Ofrohen burime edukative dhe mekanizma raportimi për përdoruesit për të raportuar keqpërdorimin. Përdorimet e ndaluara të modeleve Gemma përcaktohen në Politikën e Përdorimit të Ndaluar të Gemma-s .
• Shkeljet e privatësisë: Modelet u trajnuan mbi të dhënat e filtruara për heqjen e PII (Informacionit Personal të Identifikueshëm). Zhvilluesit inkurajohen t'i përmbahen rregulloreve të privatësisë me teknika që ruajnë privatësinë.

Përfitimet

Në kohën e publikimit, kjo familje modelesh ofron implementime të modeleve të hapura me gjuhë të madhe me performancë të lartë, të projektuara nga e para për zhvillimin e përgjegjshëm të IA-së, krahasuar me modele me madhësi të ngjashme.