Karta e modelit EmbeddingGemma

Faqja e modelit : EmbeddingGemma

Burimet dhe Dokumentacioni Teknik :

• Instrumente Përgjegjëse Gjenerative e AI
• EmbeddingGemma në Kaggle
• EmbeddingGemma në Kopshtin Model Vertex

Kushtet e Përdorimit : Kushtet

Autorët : Google DeepMind

Informacioni i modelit

Përshkrimi i përmbledhur dhe përkufizimi i shkurtër i inputeve dhe outputeve.

Përshkrimi

EmbeddingGemma është një parametër 300 milion, më i avancuar për madhësinë e tij, model i hapur i integruar nga Google, i ndërtuar nga Gemma 3 (me inicializimin T5Gemma) dhe i njëjti kërkim dhe teknologji e përdorur për krijimin e modeleve Gemini. EmbeddingGemma prodhon paraqitje vektoriale të tekstit, duke e bërë atë të përshtatshëm për detyrat e kërkimit dhe rikthimit, duke përfshirë klasifikimin, grupimin dhe kërkimin e ngjashmërisë semantike. Ky model është trajnuar me të dhëna në 100+ gjuhë të folura.

Përmasat e vogla dhe fokusi në pajisje bëjnë të mundur vendosjen në mjedise me burime të kufizuara si telefonat celularë, laptopët ose desktopët, duke demokratizuar aksesin në modelet më të fundit të AI dhe duke ndihmuar në nxitjen e inovacionit për të gjithë.

Për më shumë detaje teknike, referojuni punimit tonë: EmbeddingGemma: Përfaqësime teksti të fuqishme dhe të lehta .

Inputet dhe daljet

• Hyrja:

  • Varg teksti, si p.sh. një pyetje, një kërkesë ose një dokument që do të futet
  • Gjatësia maksimale e kontekstit të hyrjes është 2K

• Prodhimi:

  • Paraqitje numerike vektoriale të të dhënave hyrëse të tekstit
  • Madhësia e dimensionit të futjes së daljes prej 768, me opsione më të vogla të disponueshme (512, 256 ose 128) nëpërmjet Matryoshka Representation Learning (MRL). MRL i lejon përdoruesit të shkurtojnë futjen e daljes së madhësisë 768 në madhësinë e tyre të dëshiruar dhe më pas të rinormalizohen për përfaqësim efikas dhe të saktë.

Citim

@article{embedding_gemma_2025,
    title={EmbeddingGemma: Powerful and Lightweight Text Representations},
    publisher={Google DeepMind},
    author={Schechter Vera, Henrique and Dua, Sahil and Team, EmbeddingGemma},
    year={2025},
    url={https://arxiv.org/abs/2509.20354}
}

Të dhënat e modelit

Të dhënat e trajnimit

Ky model është trajnuar mbi një grup të dhënash të dhënash teksti që përfshin një shumëllojshmëri të gjerë burimesh që arrijnë në rreth 320 miliardë argumente. Këtu janë komponentët kryesorë:

• Dokumentet në ueb : Një koleksion i larmishëm tekstesh në ueb siguron që modeli të ekspozohet ndaj një game të gjerë stilesh, temash dhe fjalori gjuhësor. Databaza e trajnimit përfshin përmbajtje në mbi 100 gjuhë.
• Kodi dhe dokumentet teknike : Ekspozimi i modelit ndaj kodit dhe dokumentacionit teknik e ndihmon atë të mësojë strukturën dhe modelet e gjuhëve të programimit dhe përmbajtjen e specializuar shkencore, gjë që përmirëson të kuptuarit e kodit dhe pyetjeve teknike.
• Të dhëna sintetike dhe specifike për detyrat : Të dhënat e trajnimit në mënyrë sintetike ndihmojnë për t'i mësuar modelit aftësi specifike. Kjo përfshin të dhëna të kuruara për detyra si marrja e informacionit, klasifikimi dhe analiza e ndjenjave, e cila ndihmon për të rregulluar mirë performancën e tij për aplikacionet e zakonshme të ngulitjes.

Kombinimi i këtyre burimeve të ndryshme të të dhënave është thelbësor për trajnimin e një modeli të fuqishëm të ngulitjes shumëgjuhëshe që mund të trajtojë një larmi të gjerë detyrash dhe formatesh të ndryshme të të dhënave.

Parapërpunimi i të dhënave

Këtu janë metodat kryesore të pastrimit dhe filtrimit të të dhënave të aplikuara për të dhënat e trajnimit:

• Filtrimi CSAM: Filtrimi rigoroz CSAM (Material Abuzues Seksual i Fëmijëve) u aplikua në faza të shumta në procesin e përgatitjes së të dhënave për të siguruar përjashtimin e përmbajtjeve të dëmshme dhe të paligjshme.
• Filtrimi i të dhënave të ndjeshme: Si pjesë e bërjes së modeleve të para-trajnuara Gemma të sigurta dhe të besueshme, u përdorën teknika të automatizuara për të filtruar disa informacione personale dhe të dhëna të tjera të ndjeshme nga grupet e trajnimit.
• Metodat shtesë: Filtrimi i bazuar në cilësinë dhe sigurinë e përmbajtjes në përputhje me politikat tona .

Zhvillimi i modelit

Hardware

EmbeddingGemma u trajnua duke përdorur gjeneratën e fundit të harduerit të njësisë së përpunimit tensor (TPU) (TPUv5e), për më shumë detaje referojuni kartës së modelit Gemma 3 .

Software

Trajnimi është bërë duke përdorur JAX dhe ML Pathways . Për më shumë detaje, referojuni kartës së modelit Gemma 3 .

Vlerësimi

Rezultatet e standardeve

Modeli u vlerësua kundrejt një koleksioni të madh të të dhënave dhe metrikave të ndryshme për të mbuluar aspekte të ndryshme të të kuptuarit të tekstit.

Pikë kontrolli me saktësi të plotë

Pikat e kontrollit QAT

* Precisioni i përzier i referohet kuantizimit për çdo kanal me int4 për futjet, hyrjet dhe shtresat e projektimit dhe int8 për vëmendjen (e4_a8_f4_p4).

Udhëzime të menjëhershme

EmbeddingGemma mund të gjenerojë ngulitje të optimizuara për raste të ndryshme përdorimi—si marrja e dokumenteve, përgjigjja e pyetjeve dhe verifikimi i fakteve—ose për lloje të veçanta të hyrjes—qoftë një pyetje ose një dokument—duke përdorur prompte që janë parashtruar në vargjet e hyrjes.

Kërkesat e kërkesave ndjekin task: {task description} | query: ku përshkrimi i detyrës ndryshon sipas rastit të përdorimit, me përshkrimin e paracaktuar të detyrës që është search result . Kërkesat e stilit të dokumentit ndjekin title: {title | "none"} | text: ku titulli është ose none (parazgjedhja) ose titulli aktual i dokumentit. Vini re se dhënia e një titulli, nëse disponohet, do të përmirësojë performancën e modelit për kërkesat e dokumenteve, por mund të kërkojë formatim manual.

Përdorni kërkesat e mëposhtme bazuar në rastin tuaj të përdorimit dhe llojin e të dhënave hyrëse. Këto mund të jenë tashmë të disponueshme në konfigurimin EmbeddingGemma në kornizën tuaj të modelimit të zgjedhur.

Përdorimi dhe Kufizimet

Këto modele kanë disa kufizime për të cilat përdoruesit duhet të jenë të vetëdijshëm.

Përdorimi i synuar

Modelet e integruara të hapura kanë një gamë të gjerë aplikimesh në industri dhe fusha të ndryshme. Lista e mëposhtme e përdorimeve të mundshme nuk është gjithëpërfshirëse. Qëllimi i kësaj liste është të sigurojë informacion kontekstual në lidhje me rastet e mundshme të përdorimit që krijuesit e modelit i konsideruan si pjesë e trajnimit dhe zhvillimit të modelit.

• Ngjashmëria semantike : Përfshirje të optimizuara për të vlerësuar ngjashmërinë e tekstit, të tilla si sistemet e rekomandimeve dhe zbulimi i dyfishtë
• Klasifikimi : Përfshirje të optimizuara për të klasifikuar tekstet sipas etiketave të paracaktuara, të tilla si analiza e ndjenjave dhe zbulimi i postës së padëshiruar
• Grumbullimi : Përfshirje të optimizuara për të grumbulluar tekste bazuar në ngjashmëritë e tyre, të tilla si organizimi i dokumenteve, hulumtimi i tregut dhe zbulimi i anomalive

• Rikthimi

  • Dokument : Përfshirje të optimizuara për kërkimin e dokumenteve, të tilla si indeksimi i artikujve, librave ose faqeve të internetit për kërkim
  • Pyetje : Përfshirje të optimizuara për pyetje të përgjithshme kërkimi, të tilla si kërkimi me porosi
  • Pyetja e kodit : Përfshirje të optimizuara për rikthimin e blloqeve të kodit bazuar në pyetjet e gjuhës natyrore, të tilla si sugjerimet e kodit dhe kërkimi

• Përgjigja e pyetjeve : Përfshirje për pyetje në një sistem përgjigjeje pyetjesh, të optimizuara për gjetjen e dokumenteve që i përgjigjen pyetjes, si p.sh. kutia e bisedave.

• Verifikimi i fakteve : Përfshirje për deklaratat që duhet të verifikohen, të optimizuara për marrjen e dokumenteve që përmbajnë prova që mbështesin ose hedhin poshtë deklaratën, të tilla si sisteme të automatizuara të kontrollit të fakteve.

Kufizimet

• Të dhënat e trajnimit

  • Cilësia dhe diversiteti i të dhënave të trajnimit ndikojnë ndjeshëm në aftësitë e modelit. Paragjykimet ose boshllëqet në të dhënat e trajnimit mund të çojnë në kufizime në përgjigjet e modelit.
  • Shtrirja e grupit të të dhënave të trajnimit përcakton fushat lëndore që modeli mund të trajtojë në mënyrë efektive.

• Dykuptimësia dhe nuanca gjuhësore

  • Gjuha natyrore është në thelb komplekse. Modelet mund të luftojnë për të kuptuar nuancat delikate, sarkazmën ose gjuhën figurative.

Konsideratat dhe rreziqet etike

Rreziqet e identifikuara dhe masat zbutëse:

• Përjetësimi i paragjykimeve : Inkurajohet kryerja e monitorimit të vazhdueshëm (duke përdorur metrikat e vlerësimit, rishikimin njerëzor) dhe eksplorimi i teknikave të paragjykimeve gjatë trajnimit të modelit, rregullimit të imët dhe rasteve të tjera të përdorimit.
• Keqpërdorimi për qëllime keqdashëse : Kufizimet teknike dhe edukimi i zhvilluesve dhe përdoruesve të fundit mund të ndihmojnë në zbutjen e aplikacioneve me qëllim të keq të përfshirjeve. Janë siguruar burime edukative dhe mekanizma raportimi për përdoruesit për të shënuar keqpërdorimin. Përdorimet e ndaluara të modeleve Gemma përshkruhen në Politikën e Përdorimit të Ndaluar të Gemma .
• Shkeljet e privatësisë : Modelet janë trajnuar për të dhënat e filtruara për heqjen e disa informacioneve personale dhe të dhënave të tjera të ndjeshme. Zhvilluesit inkurajohen t'u përmbahen rregulloreve të privatësisë me teknika të ruajtjes së privatësisë.

Përfitimet

Në momentin e lëshimit, kjo familje modelesh ofron zbatime të modeleve të integruara të hapura me performancë të lartë, të dizajnuara nga themelet për zhvillim të përgjegjshëm të AI krahasuar me modelet me madhësi të ngjashme. Duke përdorur matjet e vlerësimit të standardeve të përshkruara në këtë dokument, këto modele kanë treguar performancë superiore ndaj alternativave të tjera të modeleve të hapura me madhësi të krahasueshme.