Përmbledhje e modelit Gemma 3

Gemma është një familje e modeleve gjeneruese të inteligjencës artificiale (AI) dhe ju mund t'i përdorni ato në një shumëllojshmëri të gjerë detyrash gjeneruese, duke përfshirë përgjigjen e pyetjeve, përmbledhjen dhe arsyetimin. Modelet Gemma pajisen me pesha të hapura dhe lejojnë përdorim komercial të përgjegjshëm, duke ju lejuar t'i akordoni dhe t'i vendosni ato në projektet dhe aplikacionet tuaja.

Lëshimi i Gemma 3 përfshin veçoritë kryesore të mëposhtme. Provojeni në AI Studio :

Ju mund të shkarkoni modelet Gemma 3 nga Kaggle dhe Hugging Face . Për më shumë detaje teknike mbi Gemma 3, shihni Kartën e Modelit dhe Raportin Teknik . Versionet e mëparshme të modeleve bazë Gemma janë gjithashtu të disponueshme për shkarkim. Për më shumë informacion, shihni modelet e mëparshme Gemma .

Provoni Gemma 3 Merrni atë në Kaggle Merrni atë në Hugging Face

Futja multimodale e imazhit dhe tekstit

Ju mund të trajtoni detyra më komplekse të analizës dhe gjenerimit me Gemma 3 me aftësinë e tij për të trajtuar të dhënat e imazhit dhe tekstit. Ju mund ta përdorni modelin për të interpretuar të dhënat e imazhit, për të identifikuar objektet, për të nxjerrë të dhëna teksti dhe për të përfunduar shumë detyra të tjera të hyrjes vizuale në daljen e tekstit. Filloni ndërtimin

Dritarja e kontekstit të tokenit 128K

Modelet Gemma 3 mund të trajtojnë hyrje të menjëhershme deri në 128K argumente, një dritare konteksti 16 herë më e madhe se modelet e mëparshme Gemma. Numri i madh i argumenteve do të thotë që ju mund të përpunoni disa artikuj, me shumë faqe, artikuj të vetëm më të mëdhenj ose qindra imazhe në një kërkesë të vetme.

Mbështetje e gjerë gjuhësore

Punoni në gjuhën tuaj me mbështetje të integruar për mbi 140 gjuhë. Gemma 3 është trajnuar për të mbështetur një numër të madh gjuhësh në krahasim me versionet e mëparshme Gemma, duke ju lejuar të merrni më shumë detyra vizuale dhe tekstuale në gjuhët që përdorin klientët tuaj. Filloni ndërtimin

Madhësitë e parametrave dhe kuantizimi

Modelet Gemma 3 janë të disponueshme në 4 madhësi parametrash në 5 nivele saktësie, nga saktësia e plotë në 32-bit në saktësinë më të ulët në 4-bit. Madhësitë dhe saktësitë e ndryshme përfaqësojnë një sërë kompensimesh për aplikacionin tuaj të AI. Modelet me parametra më të lartë dhe numërim bit (precizion më të lartë) janë përgjithësisht më të aftë, por janë më të shtrenjta për t'u përdorur për sa i përket cikleve të përpunimit, kostos së kujtesës dhe konsumit të energjisë. Modelet me parametra më të ulët dhe numërim bit (precizion më të ulët) kanë më pak aftësi, por mund të jenë të mjaftueshme për detyrën tuaj të AI. Tabela e mëposhtme detajon kërkesat e përafërta të memories GPU ose TPU për ekzekutimin e konkluzioneve me secilën madhësi të versioneve të modelit Gemma 3.

Parametrat Plot 32 bit BF16 (16-bit) SFP8
(8-bit)
Q4_0
(4-bit)
INT4
(4-bit)
Gemma 3 1B ( vetëm tekst ) 4 GB 1.5 GB 1.1 GB 892 MB 861 MB
Gemma 3 4B 16 GB 6.4 GB 4.4 GB 3.4 GB 3.2 GB
Gemma 3 12B 48 GB 20 GB 12.2 GB 8.7 GB 8.2 GB
Gemma 3 27B 108 GB 46.4 GB 29.1 GB 21 GB 19.9 GB

Tabela 1. Memoria e përafërt GPU ose TPU e nevojshme për të ngarkuar modelet Gemma 3 bazuar në numërimin e parametrave dhe nivelin e kuantizimit (thellësia bit).

Konsumi i memories rritet në bazë të numrit total të shenjave të kërkuara për kërkesën që ekzekutoni. Sa më i madh të jetë numri i shenjave të nevojshme për të përpunuar kërkesën tuaj, aq më e lartë është memoria e kërkuar, e cila është përveç memories që kërkohet për të ngarkuar modelin.

Modelet e mëparshme Gemma

Ju mund të punoni me gjeneratat e mëparshme të modeleve Gemma, të cilat janë gjithashtu të disponueshme nga Kaggle dhe Hugging Face . Për më shumë detaje teknike rreth modeleve të mëparshme Gemma, shihni faqet e mëposhtme të kartës së modelit:

Gati për të filluar ndërtimin? Filloni me modelet Gemma!