Karta e modelit Gemma 3

Faqja e modelit : Gemma

Burimet dhe Dokumentacioni Teknik :

• Raporti Teknik Gemma 3
• Instrumente Përgjegjëse Gjenerative e AI
• Gemma në Kaggle
• Gemma on Vertex Model Garden

Kushtet e Përdorimit : Kushtet

Autorët : Google DeepMind

Informacioni i modelit

Përshkrimi i përmbledhur dhe përkufizimi i shkurtër i inputeve dhe outputeve.

Përshkrimi

Gemma është një familje e modeleve të hapura me peshë të lehtë dhe moderne nga Google, e ndërtuar nga i njëjti kërkim dhe teknologji e përdorur për krijimin e modeleve Gemini. Modelet Gemma 3 janë multimodale, trajtojnë futjen e tekstit dhe imazhit dhe gjenerojnë dalje teksti, me pesha të hapura si për variantet e trajnuara paraprakisht ashtu edhe për variantet e akorduara sipas udhëzimeve. Gemma 3 ka një dritare të madhe konteksti 128K, mbështetje shumëgjuhëshe në mbi 140 gjuhë dhe është e disponueshme në më shumë madhësi se versionet e mëparshme. Modelet Gemma 3 janë të përshtatshme për një sërë detyrash të gjenerimit të tekstit dhe kuptimit të imazheve, duke përfshirë përgjigjen e pyetjeve, përmbledhjen dhe arsyetimin. Madhësia e tyre relativisht e vogël bën të mundur vendosjen e tyre në mjedise me burime të kufizuara si laptopët, desktopët ose infrastruktura juaj e resë kompjuterike, duke demokratizuar aksesin në modelet më të fundit të AI dhe duke ndihmuar në nxitjen e inovacionit për të gjithë.

Inputet dhe daljet

• Hyrja:

  • Varg teksti, si p.sh. një pyetje, një kërkesë ose një dokument për t'u përmbledhur
  • Imazhet, të normalizuara në rezolucion 896 x 896 dhe të koduara në 256 shenja secila
  • Konteksti total i hyrjes së 128 mijë argumenteve për madhësitë 4B, 12B dhe 27B dhe 32K argumente për madhësinë 1B

• Prodhimi:

  • Teksti i krijuar në përgjigje të hyrjes, si p.sh. një përgjigje për një pyetje, analizë e përmbajtjes së imazhit ose një përmbledhje e një dokumenti
  • Konteksti total i daljes deri në 128K argumente për madhësitë 4B, 12B dhe 27B, dhe 32K argumente për madhësinë 1B për kërkesë, duke zbritur argumentet hyrëse të kërkesës

Citim

@article{gemma_2025,
    title={Gemma 3},
    url={https://arxiv.org/abs/2503.19786},
    publisher={Google DeepMind},
    author={Gemma Team},
    year={2025}
}

Të dhënat e modelit

Të dhënat e përdorura për trajnimin e modeleve dhe si u përpunuan të dhënat.

Të dhënat e trajnimit

Këto modele janë trajnuar mbi një grup të dhënash të dhënash teksti që përfshin një shumëllojshmëri të gjerë burimesh. Modeli 27B u trajnua me 14 trilion argumente, modeli 12B u trajnua me 12 trilion argumente, modeli 4B u trajnua me 4 trilion argumente dhe 1B me 2 trilion argumente. Data e ndërprerjes së njohurive për të dhënat e trajnimit ishte gushti 2024. Këtu janë komponentët kryesorë:

• Dokumentet në ueb: Një koleksion i larmishëm tekstesh në ueb siguron që modeli të ekspozohet ndaj një game të gjerë stilesh, temash dhe fjalori gjuhësor. Databaza e trajnimit përfshin përmbajtje në mbi 140 gjuhë.
• Kodi: Ekspozimi i modelit ndaj kodit e ndihmon atë të mësojë sintaksën dhe modelet e gjuhëve të programimit, gjë që përmirëson aftësinë e tij për të gjeneruar kode dhe për të kuptuar pyetjet që lidhen me kodin.
• Matematika: Trajnimi mbi tekstin matematikor e ndihmon modelin të mësojë arsyetimin logjik, paraqitjen simbolike dhe të adresojë pyetjet matematikore.
• Imazhet: Një gamë e gjerë imazhesh i mundëson modelit të kryejë analizën e imazhit dhe detyrat e nxjerrjes vizuale të të dhënave.

Kombinimi i këtyre burimeve të ndryshme të të dhënave është thelbësor për trajnimin e një modeli të fuqishëm multimodal që mund të trajtojë një shumëllojshmëri të gjerë detyrash dhe formatesh të ndryshme të të dhënave.

Parapërpunimi i të dhënave

Këtu janë metodat kryesore të pastrimit dhe filtrimit të të dhënave të aplikuara për të dhënat e trajnimit:

• Filtrimi CSAM: Filtrimi rigoroz CSAM (Material Abuzues Seksual i Fëmijëve) u aplikua në faza të shumta në procesin e përgatitjes së të dhënave për të siguruar përjashtimin e përmbajtjeve të dëmshme dhe të paligjshme.
• Filtrimi i të dhënave të ndjeshme: Si pjesë e bërjes së modeleve të para-trajnuara Gemma të sigurta dhe të besueshme, u përdorën teknika të automatizuara për të filtruar disa informacione personale dhe të dhëna të tjera të ndjeshme nga grupet e trajnimit.
• Metodat shtesë: Filtrimi i bazuar në cilësinë dhe sigurinë e përmbajtjes në përputhje me politikat tona .

Informacioni i Zbatimit

Detaje rreth brendësisë së modelit.

Hardware

Gemma u trajnua duke përdorur pajisjen e Njësisë së Përpunimit Tensor (TPU) (TPUv4p, TPUv5p dhe TPUv5e). Trajnimi i modeleve të gjuhës së vizionit (VLMS) kërkon fuqi të konsiderueshme llogaritëse. TPU-të, të krijuara posaçërisht për operacionet e matricës të zakonshme në mësimin e makinerive, ofrojnë disa përparësi në këtë fushë:

• Performanca: TPU-të janë krijuar posaçërisht për të trajtuar llogaritjet masive të përfshira në trajnimin e VLM-ve. Ata mund të përshpejtojnë trajnimin në mënyrë të konsiderueshme në krahasim me CPU-të.
• Kujtesa: TPU-të shpesh vijnë me sasi të mëdha memorie me gjerësi të lartë bande, duke lejuar trajtimin e modeleve të mëdha dhe madhësive të grupeve gjatë trajnimit. Kjo mund të çojë në cilësi më të mirë të modelit.
• Shkallueshmëria: TPU Pods (grupe të mëdha TPU) ofrojnë një zgjidhje të shkallëzueshme për trajtimin e kompleksitetit në rritje të modeleve të mëdha të themeleve. Ju mund të shpërndani trajnime nëpër pajisje të shumta TPU për përpunim më të shpejtë dhe më efikas.
• Kosto-efektiviteti: Në shumë skenarë, TPU-të mund të ofrojnë një zgjidhje me kosto më efektive për trajnimin e modeleve të mëdha në krahasim me infrastrukturën e bazuar në CPU, veçanërisht kur merret parasysh koha dhe burimet e kursyera për shkak të trajnimit më të shpejtë.
• Këto avantazhe janë në përputhje me angazhimet e Google për të vepruar në mënyrë të qëndrueshme .

Software

Trajnimi është bërë duke përdorur JAX dhe ML Pathways .

JAX i lejon studiuesit të përfitojnë nga gjenerata e fundit e pajisjeve, duke përfshirë TPU-të, për trajnim më të shpejtë dhe më efikas të modeleve të mëdha. ML Pathways është përpjekja më e fundit e Google për të ndërtuar sisteme artificialisht inteligjente të afta për të përgjithësuar në shumë detyra. Kjo është veçanërisht e përshtatshme për modelet e themeleve, duke përfshirë modele të mëdha gjuhësore si këto.

Së bashku, JAX dhe ML Pathways janë përdorur siç përshkruhet në punimin për familjen e modeleve Binjakët ; "Modeli i programimit "kontrollues i vetëm" i Jax dhe Pathways lejon një proces të vetëm Python për të orkestruar të gjithë drejtimin e trajnimit, duke thjeshtuar në mënyrë dramatike rrjedhën e punës së zhvillimit."

Vlerësimi

Metrikat dhe rezultatet e vlerësimit të modelit.

Rezultatet e standardeve

Këto modele u vlerësuan kundrejt një koleksioni të madh të të dhënave dhe metrikave të ndryshme për të mbuluar aspekte të ndryshme të gjenerimit të tekstit. Rezultatet e vlerësimit të shënuara me IT janë për modelet e akorduara me udhëzim. Rezultatet e vlerësimit të shënuara me PT janë për modelet e para-trajnuara.

Arsyetimi dhe fakti

STEM dhe kodi

Shumëgjuhëshe

Multimodale

Etika dhe Siguria

Qasja dhe rezultatet e vlerësimit të etikës dhe sigurisë.

Qasja e Vlerësimit

Metodat tona të vlerësimit përfshijnë vlerësime të strukturuara dhe testime të brendshme të grupeve të kuqe të politikave përkatëse të përmbajtjes. Red-skuadra u krye nga një numër skuadrash të ndryshme, secila me qëllime të ndryshme dhe metrika të vlerësimit njerëzor. Këto modele u vlerësuan kundrejt një numri kategorish të ndryshme që lidhen me etikën dhe sigurinë, duke përfshirë:

• Siguria e fëmijëve : Vlerësimi i tekstit në tekst dhe imazhit në tekst kërkon që mbulon politikat e sigurisë së fëmijëve, duke përfshirë abuzimin dhe shfrytëzimin seksual të fëmijëve.
• Siguria e përmbajtjes: Vlerësimi i tekstit në tekst dhe imazhit në tekst kërkon që mbulojnë politikat e sigurisë, duke përfshirë ngacmimin, dhunën dhe grykën, dhe gjuhën e urrejtjes.
• Dëmet e përfaqësimit : Vlerësimi i tekstit në tekst dhe imazhit në tekst kërkon që mbulon politikat e sigurisë duke përfshirë paragjykimet, stereotipet dhe asociacionet ose pasaktësitë e dëmshme.

Përveç vlerësimeve të nivelit të zhvillimit, ne kryejmë "vlerësime sigurie" të cilat janë vlerësimet tona të brendshme 'të gjata' për vendimmarrjen e qeverisjes me përgjegjësi. Ato kryhen veçmas nga ekipi i zhvillimit të modelit, për të informuar vendimmarrjen rreth lëshimit. Gjetjet e nivelit të lartë i kthehen ekipit të modelit, por grupet e shpejta janë mbajtur për të parandaluar mbipërshtatjen dhe për të ruajtur aftësinë e rezultateve për të informuar vendimmarrjen. Rezultatet e vlerësimit të sigurisë i raportohen Këshillit tonë të Përgjegjësisë dhe Sigurisë si pjesë e rishikimit të publikimit.

Rezultatet e Vlerësimit

Për të gjitha fushat e testimit të sigurisë, ne pamë përmirësime të mëdha në kategoritë e sigurisë së fëmijëve, sigurisë së përmbajtjes dhe dëmtimeve përfaqësuese në krahasim me modelet e mëparshme Gemma. Të gjitha testimet u kryen pa filtra sigurie për të vlerësuar aftësitë dhe sjelljet e modelit. Si për tekst në tekst, ashtu edhe për imazh në tekst, dhe në të gjitha madhësitë e modelit, modeli prodhoi shkelje minimale të politikave dhe tregoi përmirësime të rëndësishme mbi performancën e modeleve të mëparshme Gemma në lidhje me konkluzionet e pabazuara. Një kufizim i vlerësimeve tona ishte se ato përfshinin vetëm kërkesat e gjuhës angleze.

Përdorimi dhe Kufizimet

Këto modele kanë disa kufizime për të cilat përdoruesit duhet të jenë të vetëdijshëm.

Përdorimi i synuar

Modelet me gjuhë të hapur vizioni (VLM) kanë një gamë të gjerë aplikimesh në industri dhe fusha të ndryshme. Lista e mëposhtme e përdorimeve të mundshme nuk është gjithëpërfshirëse. Qëllimi i kësaj liste është të sigurojë informacion kontekstual në lidhje me rastet e mundshme të përdorimit që krijuesit e modelit i konsideruan si pjesë e trajnimit dhe zhvillimit të modelit.

• Krijimi dhe komunikimi i përmbajtjes
  • Gjenerimi i tekstit: Këto modele mund të përdoren për të gjeneruar formate tekstesh krijuese si poezi, skripta, kode, kopje marketingu dhe drafte të postës elektronike.
  • Chatbots dhe AI ​​biseduese: Ndërfaqe të fuqishme bisedore për shërbimin ndaj klientit, asistentët virtualë ose aplikacionet ndërvepruese.
  • Përmbledhja e tekstit: Krijoni përmbledhje koncize të një korpusi teksti, punimesh kërkimore ose raporte.
  • Nxjerrja e të dhënave të imazhit: Këto modele mund të përdoren për nxjerrjen, interpretimin dhe përmbledhjen e të dhënave vizuale për komunikimet me tekst.
• Kërkimi dhe Edukimi
  • Përpunimi i Gjuhës Natyrore (NLP) dhe Kërkimi VLM: Këto modele mund të shërbejnë si një bazë për studiuesit që të eksperimentojnë me teknikat VLM dhe NLP, të zhvillojnë algoritme dhe të kontribuojnë në avancimin e fushës.
  • Mjetet e mësimit të gjuhës: Mbështetni përvojat interaktive të të mësuarit të gjuhës, duke ndihmuar në korrigjimin e gramatikës ose duke ofruar praktikë të shkruar.
  • Eksplorimi i njohurive: Ndihmoni studiuesit në eksplorimin e pjesëve të mëdha të tekstit duke gjeneruar përmbledhje ose duke iu përgjigjur pyetjeve rreth temave specifike.

Kufizimet

• Të dhënat e trajnimit
  • Cilësia dhe diversiteti i të dhënave të trajnimit ndikojnë ndjeshëm në aftësitë e modelit. Paragjykimet ose boshllëqet në të dhënat e trajnimit mund të çojnë në kufizime në përgjigjet e modelit.
  • Shtrirja e grupit të të dhënave të trajnimit përcakton fushat lëndore që modeli mund të trajtojë në mënyrë efektive.
• Konteksti dhe kompleksiteti i detyrës
  • Modelet janë më të mira në detyrat që mund të përshtaten me udhëzime dhe udhëzime të qarta. Detyrat e hapura ose shumë komplekse mund të jenë sfiduese.
  • Performanca e një modeli mund të ndikohet nga sasia e kontekstit të ofruar (konteksti më i gjatë përgjithësisht çon në rezultate më të mira, deri në një pikë të caktuar).
• Dykuptimësia dhe nuanca gjuhësore
  • Gjuha natyrore është në thelb komplekse. Modelet mund të luftojnë për të kuptuar nuancat delikate, sarkazmën ose gjuhën figurative.
• Saktësia faktike
  • Modelet gjenerojnë përgjigje bazuar në informacionin që mësuan nga grupet e të dhënave të tyre të trajnimit, por ato nuk janë baza njohurish. Ato mund të gjenerojnë deklarata faktike të pasakta ose të vjetruara.
• Sense e Përbashkët
  • Modelet mbështeten në modelet statistikore në gjuhë. Atyre mund t'u mungojë aftësia për të zbatuar arsyetimin me sens të përbashkët në situata të caktuara.

Konsideratat dhe rreziqet etike

Zhvillimi i modeleve të gjuhës së vizionit (VLM) ngre disa shqetësime etike. Në krijimin e një modeli të hapur, ne kemi konsideruar me kujdes sa vijon:

• Paragjykimi dhe Drejtësia
  • VLM-të e trajnuara në të dhëna të tekstit dhe imazhit në shkallë të gjerë, të botës reale, mund të pasqyrojnë paragjykimet socio-kulturore të ngulitura në materialin e trajnimit. Këto modele iu nënshtruan një shqyrtimi të kujdesshëm, të përpunimit paraprak të të dhënave hyrëse të përshkruara dhe vlerësimeve të mëvonshme të raportuara në këtë kartë.
• Keqinformim dhe keqpërdorim
  • VLM-të mund të keqpërdoren për të gjeneruar tekst që është i rremë, mashtrues ose i dëmshëm.
  • Udhëzimet janë dhënë për përdorim të përgjegjshëm me modelin, shihni Paketën e Veglave Përgjegjëse Gjenerative të AI .
• Transparenca dhe llogaridhënia:
  • Kjo kartë model përmbledh detaje mbi arkitekturën, aftësitë, kufizimet dhe proceset e vlerësimit të modeleve.
  • Një model i hapur i zhvilluar me përgjegjësi ofron mundësinë për të ndarë inovacionin duke e bërë teknologjinë VLM të aksesueshme për zhvilluesit dhe studiuesit në të gjithë ekosistemin e AI.

Rreziqet e identifikuara dhe masat zbutëse:

• Përjetësimi i paragjykimeve : Inkurajohet kryerja e monitorimit të vazhdueshëm (duke përdorur metrikat e vlerësimit, rishikimin njerëzor) dhe eksplorimi i teknikave të paragjykimeve gjatë trajnimit të modelit, rregullimit të imët dhe rasteve të tjera të përdorimit.
• Gjenerimi i përmbajtjes së dëmshme : Mekanizmat dhe udhëzimet për sigurinë e përmbajtjes janë thelbësore. Zhvilluesit inkurajohen të tregojnë kujdes dhe të zbatojnë masat mbrojtëse të përshtatshme të sigurisë së përmbajtjes bazuar në politikat e tyre specifike të produktit dhe rastet e përdorimit të aplikacioneve.
• Keqpërdorimi për qëllime keqdashëse : Kufizimet teknike dhe edukimi i zhvilluesve dhe përdoruesve të fundit mund të ndihmojnë në zbutjen e aplikacioneve me qëllim të keq të VLM-ve. Janë siguruar burime edukative dhe mekanizma raportimi për përdoruesit për të shënuar keqpërdorimin. Përdorimet e ndaluara të modeleve Gemma përshkruhen në Politikën e Përdorimit të Ndaluar të Gemma .
• Shkeljet e privatësisë : Modelet janë trajnuar për të dhënat e filtruara për heqjen e disa informacioneve personale dhe të dhënave të tjera të ndjeshme. Zhvilluesit inkurajohen t'u përmbahen rregulloreve të privatësisë me teknika të ruajtjes së privatësisë.

Përfitimet

Në kohën e lëshimit, kjo familje modelesh ofron zbatime të modeleve të gjuhës së hapur me performancë të lartë, të dizajnuara nga themelet për zhvillim të përgjegjshëm të AI krahasuar me modelet me madhësi të ngjashme.

Duke përdorur matjet e vlerësimit të standardeve të përshkruara në këtë dokument, këto modele kanë treguar se ofrojnë performancë superiore ndaj alternativave të tjera të modelit të hapur me madhësi të krahasueshme.