Vraponi Gemma me Ollamën, Vraponi Gemma me Ollama

Ekzekutimi i modeleve të inteligjencës artificiale gjeneruese (IA) si Gemma mund të jetë sfidues pa harduerin e duhur. Kornizat me burim të hapur si llama.cpp dhe Ollama e bëjnë këtë më të lehtë duke konfiguruar një mjedis ekzekutimi të parakonfiguruar që ju lejon të ekzekutoni versione të Gemma me më pak burime llogaritëse. Në fakt, duke përdorur llama.cpp dhe Ollama, ju mund të ekzekutoni versione të Gemma në një laptop ose pajisje tjetër të vogël llogaritëse pa një njësi përpunimi grafik (GPU).

Për të ekzekutuar modelet Gemma me më pak burime llogaritëse, kornizat llama.cpp dhe Ollama përdorin versione të kuantizuara të modeleve në formatin e skedarit të modelit Georgi Gerganov Unified Format (GGUF). Këto modele të kuantizuara modifikohen për të përpunuar kërkesat duke përdorur të dhëna më të vogla dhe më pak të sakta. Përdorimi i të dhënave më pak të sakta në modelet e kuantizuara për të përpunuar kërkesat zakonisht ul cilësinë e rezultatit të modeleve, por me përfitimin e uljes edhe të kostove të burimeve llogaritëse.

Ky udhëzues përshkruan se si të konfiguroni dhe përdorni Ollama për të ekzekutuar Gemma për të gjeneruar përgjigje me tekst.

Konfigurimi

Ky seksion përshkruan se si të konfiguroni Ollama-n dhe të përgatitni një instancë modeli Gemma për t'iu përgjigjur kërkesave, duke përfshirë kërkimin e aksesit në model, instalimin e softuerit dhe konfigurimin e një modeli Gemma në Ollama.

Instalo Ollamën

Përpara se të përdorni Gemma me Ollama, duhet të shkarkoni dhe instaloni programin Ollama në pajisjen tuaj kompjuterike.

Për të shkarkuar dhe instaluar Ollama:

  1. Shko te faqja e shkarkimit: https://ollama.com/download
  2. Zgjidhni sistemin tuaj operativ, klikoni butonin Shkarko ose ndiqni udhëzimet në faqen e shkarkimit.
  3. Instaloni aplikacionin duke ekzekutuar instaluesin.
    • Windows: Ekzekutoni skedarin e instaluesit *.exe dhe ndiqni udhëzimet.
    • Mac: Shpaketoni paketën zip dhe zhvendosni dosjen e aplikacionit Ollama në direktorinë tuaj të Aplikacioneve .
    • Linux: Ndiqni udhëzimet në instaluesin e skriptit bash.

  4. Konfirmoni që Ollama është instaluar duke hapur një dritare terminali dhe duke futur komandën e mëposhtme:

    ollama --version

Duhet të shihni një përgjigje të ngjashme me: ollama version is #.#.## . Nëse nuk e merrni këtë rezultat, sigurohuni që skedari ekzekutues i Ollama është shtuar në shtegun e sistemit tuaj operativ.

Konfiguro Gemma në Ollama

Paketa e instalimit Ollama nuk përfshin asnjë model si parazgjedhje. Ju shkarkoni një model duke përdorur komandën pull .

Për të konfiguruar Gemma në Ollama:

  1. Shkarkoni dhe konfiguroni variantin e parazgjedhur Gemma 4 duke hapur një dritare terminali dhe duke futur komandën e mëposhtme:

    ollama tërheq gemma4

  2. Pas përfundimit të shkarkimit, mund të konfirmoni që modeli është i disponueshëm me komandën e mëposhtme:

    lista e ollamave

Modelet specifikohen si <model_name>:<tag> . Për Gemma 4, katër madhësi: parametrat E2B, E4B, 26B dhe 31B:

  • Parametrat E2B gemma4:e2b
  • Parametrat E4B gemma4:e4b
  • Parametrat 26B A4B gemma4:26b
  • Parametrat 31B gemma4:31b

Mund t’i gjeni etiketat e disponueshme në faqen e internetit të Ollama-s, duke përfshirë Gemma 4 , Gemma 3n , Gemma 3 , Gemma 2 dhe Gemma .

Gjeneroni përgjigje

Kur të keni përfunduar instalimin e një modeli Gemma në Ollama, mund të gjeneroni përgjigje menjëherë duke përdorur komandën run të ndërfaqes së linjës së komandës së Ollama-s. Ollama gjithashtu konfiguron një shërbim web për qasje në model, të cilin mund ta testoni duke përdorur komandën curl .

Për të gjeneruar një përgjigje nga rreshti i komandës:

  • Në një dritare terminali dhe duke futur komandën e mëposhtme:

    ollama run gemma4 "roses are red"

  • Përfshi rrugën drejt imazhit tënd për të përdorur një hyrje vizuale:

    ollama run gemma4 "caption this image /Users/$USER/Desktop/surprise.png"

Për të gjeneruar një përgjigje duke përdorur shërbimin lokal të internetit Ollama:

  • Në një dritare terminali dhe duke futur komandën e mëposhtme:

    curl http://localhost:11434/api/generate -d '{\
      "model": "gemma4",\
      "prompt":"roses are red"\
}'

  • Përfshi një listë të imazheve të koduara me base64 për të përdorur një hyrje vizuale:

    curl http://localhost:11434/api/generate -d '{\
      "model": "gemma4",\
      "prompt":"caption this image",\
      "images":[...]\
}'

Modele të akorduara të Gemma-s

Ollama ofron një sërë variantesh zyrtare të modelit Gemma për përdorim të menjëhershëm, të cilat janë të kuantizuara dhe të ruajtura në formatin GGUF. Ju mund të përdorni modelet tuaja të akorduara Gemma me Ollama duke i konvertuar ato në formatin GGUF. Ollama përfshin disa funksione për të konvertuar modelet e akorduara nga një format Modelfile në GGUF. Për më shumë informacion se si ta konvertoni modelin tuaj të akorduar në GGUF, shihni Ollama README .

Hapat e ardhshëm

Pasi ta keni vënë Gemma-n në punë me Ollama-n, mund të filloni të eksperimentoni dhe të ndërtoni zgjidhje me aftësitë gjeneruese të IA-së të Gemma-s. Ndërfaqja e linjës së komandës për Ollama-n mund të jetë e dobishme për ndërtimin e zgjidhjeve të skriptimit. Ndërfaqja e shërbimit lokal të internetit të Ollama-s mund të jetë e dobishme për ndërtimin e aplikacioneve eksperimentale dhe me përdorim të ulët.