Rreth modeleve gjeneruese

Modelet gjeneruese të inteligjencës artificiale (AI) si familja e modeleve Gemini janë në gjendje të krijojnë përmbajtje nga lloje të ndryshme të futjes së të dhënave, duke përfshirë tekstin, imazhet dhe audion. Në nivelin e tyre më themelor, këto modele funksionojnë si aplikacione të sofistikuara të plotësimit automatik. Duke pasur parasysh tekstin hyrës ("Ti mund ta çosh një kalë në ujë,"), një model gjenerues mund të parashikojë se teksti dalës që ka gjasa statistikisht të ndjekë ("por nuk mund ta bësh të pijë"), bazuar në modelet e mësuara nga të dhënat e trajnimit të tyre. Ju mund të përdorni këtë veti bazë të modeleve gjeneruese për aplikacione të ndryshme:

  • Gjeneroni shkrime krijuese si poezi, tregime të shkurtra, metafora dhe postime në blog
  • Konvertoni të dhënat e strukturuara në tekst në formë të lirë
  • Nxjerrja dhe përmbledhja e informacionit nga teksti në formë të lirë
  • Gjeneroni kodin
  • Përkthejeni midis gjuhëve

Përdorimi i modeleve gjeneruese për të ndërtuar këto veçori nuk kërkon ndonjë ekspertizë të mësimit të makinerive (ML). Nuk keni nevojë të grumbulloni një grup të madh të dhënash ose të trajnoni një model. Gjithçka që duhet për të filluar prototipin tuaj të parë është të përshkruani atë që dëshironi të bëjë modeli me disa fjali.

Modelet gjeneruese që trajtojnë vetëm futjen dhe daljen e tekstit njihen gjithashtu si modele të mëdha gjuhësore (LLM). Familja e modeleve Gemini mund të përpunojë më shumë sesa të dhëna tekstuale, dhe ndërsa mund të kryejnë funksionet e një LLM, ato njihen më mirë si modele gjeneruese .

Shembuj të aplikacioneve

Shembujt e mëposhtëm tregojnë hyrjet tipike të tekstit dhe daljet nga një model gjenerues.

Krijo një poezi

Hyrja e përdoruesit: Write me a four-line poem about puppies and Android phones. Make sure it rhymes.

Prodhimi i modelit:

Puppies are cute,
Android phones are neat,
They both bring joy,
And make life complete.

Krijo një listë

Hyrja e përdoruesit: Generate a bulleted list of items I need to pack for a three-day camping trip.

Prodhimi i modelit:

*   Tent
*   Sleeping bag
*   Sleeping pad
*   Camp stove
*   Pots and pans
*   Utensils
*   Food
*   Water
*   First-aid kit
*   Sunscreen
*   Insect repellent
*   ...

Ju mund të merrni modele gjeneruese për të prodhuar të gjitha llojet e sjelljeve të dobishme si kjo, thjesht duke krijuar tekstin e duhur të hyrjes, i quajtur gjithashtu një prompt . Arti dhe shkenca e gjetjes së formulimit të duhur për të marrë modele gjeneruese për të bërë atë që dëshironi quhet dizajn i shpejtë (i quajtur gjithashtu "inxhinieri e shpejtë" ose thjesht "nxitje").

Dizajni i shpejtë 101

Seksioni i mëparshëm tregoi disa shembuj të kërkesave që përmbajnë një udhëzim, si 'Më shkruaj një poezi'. Ky lloj udhëzimi mund të funksionojë mirë për lloje të caktuara detyrash. Megjithatë, për aplikacione të tjera, një teknikë tjetër nxitëse e quajtur nxitje me disa goditje mund të funksionojë më mirë. Disa kërkesa për shkrepje përfitojnë nga fakti se modelet e mëdha të gjuhëve janë jashtëzakonisht të mira në njohjen dhe përsëritjen e modeleve në të dhënat e tekstit. Ideja është t'i dërgohet modelit gjenerues një model teksti që ai mëson të plotësojë. Për shembull, thoni se dëshironi të ndërtoni një aplikacion që merr si hyrje një emër shteti dhe nxjerr kryeqytetin e tij. Këtu është një mesazh teksti i krijuar për ta bërë këtë:

Italy : Rome
France : Paris
Germany :

Në këtë kërkesë, ju vendosni një model: [country] : [capital] . Nëse e dërgoni këtë kërkesë në një model të madh gjuhësor, ai do të plotësojë automatikisht modelin dhe do të kthejë diçka të tillë:

     Berlin
Turkey : Ankara
Greece : Athens

Ky reagim i modelit mund të duket pak i çuditshëm. Modeli ktheu jo vetëm kryeqytetin e Gjermanisë (vendi i fundit në porosinë tuaj të shkruar me dorë), por edhe një listë të tërë çiftesh shtetesh dhe kapitalesh shtesë. Kjo për shkak se modeli gjenerues po "vazhdon modelin". Nëse gjithçka që po përpiqeni të bëni është të ndërtoni një funksion që ju tregon kryeqytetin e një vendi hyrës ("Gjermani : Berlin"), ndoshta nuk ju intereson vërtet asnjë nga tekstet që modeli gjeneron pas "Berlinit". Në të vërtetë, si projektues aplikacionesh, ndoshta do të dëshironit t'i shkurtoni ato shembuj të jashtëzakonshëm. Për më tepër, ndoshta do të dëshironit të parametrizoni hyrjen, në mënyrë që Gjermania të mos jetë një varg fiks, por një variabël që ofron përdoruesi përfundimtar:

Italy : Rome
France : Paris
<user input here> :

Ju sapo keni shkruar një kërkesë për gjenerimin e kryeqyteteve të vendit.

Ju mund të kryeni një numër të madh detyrash duke ndjekur këtë shabllon të shpejtë me disa fotografi . Këtu është një kërkesë me disa fotografi me një format paksa të ndryshëm që konverton Python në JavaScript:

Convert Python to JavaScript.
Python: print("hello world")
JavaScript: console.log("hello world")
Python: for x in range(0, 100):
JavaScript: for(var i = 0; i < 100; i++) {
Python: ${USER INPUT HERE}
JavaScript:

Ose, merrni këtë kërkesë "reverse fjalor". Duke pasur një përkufizim, ai kthen fjalën që i përshtatet atij përkufizimi:

Given a definition, return the word it defines.
Definition: When you're happy that other people are also sad.
Word: schadenfreude
Definition: existing purely in the mind, but not in physical reality
Word: abstract
Definition: ${USER INPUT HERE}
Word:

Ju mund të keni vënë re se modeli i saktë i këtyre kërkesave me disa shkrepje ndryshon paksa. Përveç mbajtjes së shembujve, ofrimi i udhëzimeve në kërkesat tuaja është një strategji shtesë për t'u marrë parasysh kur shkruani kërkesat tuaja, pasi ndihmon për të komunikuar qëllimin tuaj me modelin.

Nxitja kundrejt zhvillimit të softuerit tradicional

Ndryshe nga softueri tradicional që është krijuar për një specifikim të shkruar me kujdes, sjellja e modeleve gjeneruese është kryesisht e errët edhe për trajnerët e modeleve. Si rezultat, shpesh nuk mund të parashikoni paraprakisht se cilat lloje të strukturave të shpejta do të funksionojnë më mirë për një model të caktuar. Për më tepër, sjellja e një modeli gjenerues përcaktohet në një pjesë të madhe nga të dhënat e tij të trajnimit, dhe meqenëse modelet akordohen vazhdimisht në grupe të reja të dhënash, ndonjëherë modeli ndryshon aq sa ndryshon pa dashje se cilat struktura të shpejta funksionojnë më mirë. Çfarë do të thotë kjo për ju? Eksperimento! Provoni formate të ndryshme të shpejtë.

Parametrat e modelit

Çdo kërkesë që i dërgoni modelit përfshin vlerat e parametrave që kontrollojnë se si modeli gjeneron një përgjigje. Modeli mund të gjenerojë rezultate të ndryshme për vlera të ndryshme parametrash. Parametrat më të zakonshëm të modelit janë:

  1. Shenjat maksimale të daljes: Përcakton numrin maksimal të shenjave që mund të gjenerohen në përgjigje. Një shenjë është afërsisht katër karaktere. 100 shenja korrespondojnë me afërsisht 60-80 fjalë.

  2. Temperatura: Temperatura kontrollon shkallën e rastësisë në zgjedhjen e shenjave. Temperatura përdoret për marrjen e mostrave gjatë gjenerimit të përgjigjes, e cila ndodh kur aplikohen topP dhe topK . Temperaturat më të ulëta janë të mira për kërkesat që kërkojnë një përgjigje më deterministe ose më pak të hapur, ndërsa temperaturat më të larta mund të çojnë në rezultate më të ndryshme ose krijuese. Një temperaturë prej 0 është përcaktuese, që do të thotë se përgjigja e probabilitetit më të lartë zgjidhet gjithmonë.

  3. topK : Parametri topK ndryshon mënyrën se si modeli zgjedh shenjat për dalje. Një topK prej 1 do të thotë se tokeni i zgjedhur është më i mundshmi nga të gjitha shenjat në fjalorin e modelit (i quajtur edhe dekodimi i pangopur), ndërsa një topK prej 3 do të thotë që tokeni tjetër zgjidhet nga 3 më të mundshmet duke përdorur temperaturën. Për secilin hap të përzgjedhjes së tokenit, mostrat topK ve me probabilitete më të larta. Shenjat më pas filtrohen më tej bazuar në topP me shenjën përfundimtare të zgjedhur duke përdorur kampionimin e temperaturës.

  4. topP : Parametri topP ndryshon mënyrën se si modeli zgjedh shenjat për dalje. Shenjat zgjidhen nga më e mundshme në më pak të mundshme derisa shuma e probabiliteteve të tyre të jetë e barabartë me vlerën topP . Për shembull, nëse shenjat A, B dhe C kanë një probabilitet prej 0.3, 0.2 dhe 0.1 dhe vlera topP është 0.5, atëherë modeli do të zgjedhë A ose B si shenjën tjetër duke përdorur temperaturën dhe përjashton C si kandidat. Vlera e paracaktuar topP është 0.95.

  5. stop_sequences : Vendosni një sekuencë ndalimi për t'i thënë modelit të ndalojë gjenerimin e përmbajtjes. Një sekuencë ndalimi mund të jetë çdo sekuencë karakteresh. Mundohuni të shmangni përdorimin e një sekuence karakteresh që mund të shfaqen në përmbajtjen e krijuar.

Llojet e kërkesave

Në varësi të nivelit të informacionit kontekstual që përmbahet në to, kërkesat klasifikohen gjerësisht në tre lloje.

Kërkesat për goditjen zero

Këto kërkesa nuk përmbajnë shembuj që modeli të përsëritet. Kërkesat me zero-shot në thelb tregojnë aftësinë e modelit për të përfunduar kërkesën pa ndonjë shembull ose informacion shtesë. Do të thotë që modeli duhet të mbështetet në njohuritë e tij para-ekzistuese për të gjeneruar një përgjigje të besueshme.

Disa modele të shpejta të përdorura zakonisht janë:

  • Udhëzim-përmbajtje 
<Overall instruction>
<Content to operate on>

Për shembull,

Summarize the following into two sentences at the third-grade level:

Hummingbirds are the smallest birds in the world, and they are also one of the
most fascinating. They are found in North and South America, and they are known
for their long, thin beaks and their ability to fly at high speeds.

Hummingbirds are made up of three main parts: the head, the body, and the tail.
The head is small and round, and it contains the eyes, the beak, and the brain.
The body is long and slender, and it contains the wings, the legs, and the
heart. The tail is long and forked, and it helps the hummingbird to balance
while it is flying.

Hummingbirds are also known for their coloration. They come in a variety of
colors, including green, blue, red, and purple. Some hummingbirds are even able
to change their color!

Hummingbirds are very active creatures. They spend most of their time flying,
and they are also very good at hovering. Hummingbirds need to eat a lot of food
in order to maintain their energy, and they often visit flowers to drink nectar.

Hummingbirds are amazing creatures. They are small, but they are also very
powerful. They are beautiful, and they are very important to the ecosystem.
  • Instruction-content-instruction 
<Overall instruction or context setting>
<Content to operate on>
<Final instruction>

Për shembull, 

Here is some text I'd like you to summarize:

Hummingbirds are the smallest birds in the world, and they are also one of the
most fascinating. They are found in North and South America, and they are known
for their long, thin beaks and their ability to fly at high speeds. Hummingbirds
are made up of three main parts: the head, the body, and the tail. The head is
small and round, and it contains the eyes, the beak, and the brain. The body is
long and slender, and it contains the wings, the legs, and the heart. The tail
is long and forked, and it helps the hummingbird to balance while it is flying.
Hummingbirds are also known for their coloration. They come in a variety of
colors, including green, blue, red, and purple. Some hummingbirds are even able
to change their color! Hummingbirds are very active creatures. They spend most
of their time flying, and they are also very good at hovering. Hummingbirds need
to eat a lot of food in order to maintain their energy, and they often visit
flowers to drink nectar. Hummingbirds are amazing creatures. They are small, but
they are also very powerful. They are beautiful, and they are very important to
the ecosystem.

Summarize it in two sentences at the third-grade reading level.
  • vazhdimi. Ndonjëherë, modeli mund të vazhdojë me tekst pa asnjë udhëzim. Për shembull, këtu është një kërkesë me zero-shot ku modeli synon të vazhdojë të dhëna të dhëna: 
Once upon a time, there was a little sparrow building a nest in a farmer's
barn. This sparrow

Përdorni udhëzimet zero-shot për të gjeneruar formate teksti krijues, të tilla si poezi, kode, skripta, pjesë muzikore, email ose letra.

Kërkesat me një goditje

Këto kërkesa i japin modelit një shembull të vetëm për të përsëritur dhe vazhduar modelin. Kjo lejon gjenerimin e përgjigjeve të parashikueshme nga modeli.

Për shembull, ju mund të krijoni çifte ushqimore si: 

Food: Apple
Pairs with: Cheese
Food: Pear
Pairs with:

Kërkesa me pak të shtëna

Këto kërkesa i japin modelit shembuj të shumtë për t'u përsëritur. Përdorni disa kërkesa për të përfunduar detyra të ndërlikuara, të tilla si sintetizimi i të dhënave bazuar në një model.

Një shembull i kërkesës mund të jetë: 

Generate a grocery shopping list for a week for one person. Use the JSON format
given below.
{"item": "eggs", "quantity": "6"}
{"item": "bread", "quantity": "one loaf"}

Modele gjeneruese nën kapuç

Ky seksion synon t'i përgjigjet pyetjes - A ka rastësi në përgjigjet e modeleve gjeneruese, apo janë ato deterministe?

Përgjigja e shkurtër - po për të dyja. Kur kërkoni një model gjenerues, një përgjigje teksti gjenerohet në dy faza. Në fazën e parë, modeli gjenerues përpunon kërkesën e hyrjes dhe gjeneron një shpërndarje probabiliteti mbi shenjat (fjalët) e mundshme që ka të ngjarë të vijnë më pas. Për shembull, nëse pyetni me tekstin hyrës "Qeni kërceu mbi ...", modeli gjenerues do të prodhojë një sërë fjalësh të mundshme vijuese: 

[("fence", 0.77), ("ledge", 0.12), ("blanket", 0.03), ...]

Ky proces është determinist; një model gjenerues do të prodhojë të njëjtën shpërndarje sa herë që fut të njëjtin tekst prompt.

Në fazën e dytë, modeli gjenerues i konverton këto shpërndarje në përgjigje të tekstit aktual përmes një prej disa strategjive të dekodimit. Një strategji e thjeshtë dekodimi mund të zgjedhë tokenin më të mundshëm në çdo hap kohor. Ky proces do të ishte gjithmonë determinist. Sidoqoftë, në vend të kësaj, ju mund të zgjidhni të gjeneroni një përgjigje duke marrë kampione të rastësishme mbi shpërndarjen e kthyer nga modeli. Ky proces do të ishte stokastik (i rastësishëm). Kontrolloni shkallën e rastësisë së lejuar në këtë proces dekodimi duke vendosur temperaturën. Një temperaturë prej 0 do të thotë se janë zgjedhur vetëm shenjat më të mundshme dhe nuk ka rastësi. Anasjelltas, një temperaturë e lartë injekton një shkallë të lartë rastësie në shenjat e zgjedhura nga modeli, duke çuar në përgjigje më të papritura dhe befasuese të modelit.

Lexim të mëtejshëm

  • Tani që keni një kuptim më të thellë të kërkesave dhe modeleve gjeneruese, provoni të shkruani kërkesat tuaja duke përdorur Google AI Studio .
  • Referojuni udhëzimeve të Prompt për të mësuar më shumë rreth praktikave më të mira për krijimin e kërkesave.