Mbushja e asistentëve të kodimit me AI me kontekstin e gjatë të modeleve Gemini

Një nga kufijtë më emocionues në aplikimin e dritareve me kontekst të gjatë është gjenerimi dhe kuptimi i kodit. Bazat e mëdha të kodeve kërkojnë një kuptim të thellë të marrëdhënieve dhe varësive komplekse, diçka që modelet tradicionale të AI përpiqen ta kuptojnë. Duke zgjeruar sasinë e kodit me dritare të mëdha konteksti, ne mund të zhbllokojmë një nivel të ri saktësie dhe dobie në gjenerimin dhe kuptimin e kodit.

Ne bashkëpunuam me Sourcegraph, krijuesit e asistentit të kodimit Cody AI që mbështet LLM si Gemini 1.5 Pro dhe Flash , për të eksploruar potencialin e dritareve me kontekst të gjatë në skenarët e kodimit të botës reale. Fokusi i Sourcegraph në integrimin e kërkimit të kodit dhe inteligjencës në gjenerimin e kodit të AI, dhe vendosja e suksesshme e Cody në ndërmarrjet me baza të mëdha kodesh komplekse si Palo Alto Networks dhe Leidos, i bëri ata partnerin ideal për këtë eksplorim.

Sourcegraph krahasoi performancën e Cody me një dritare kontekstuale 1 milion (duke përdorur Gemini 1.5 Flash të Google) kundrejt versionit të saj të prodhimit. Ky krahasim i drejtpërdrejtë i lejoi ata të izolonin përfitimet e kontekstit të zgjeruar. Ata u fokusuan në përgjigjen e pyetjeve teknike, një detyrë thelbësore për zhvilluesit që punojnë me baza të mëdha kodesh. Ata përdorën një grup të dhënash me pyetje sfiduese që kërkonin kuptim të thellë të kodit.

Rezultatet ishin befasuese. Tre nga standardet kryesore të Sourcegraph - Kujtesa thelbësore, Koncizimi thelbësor dhe Ndihma - demonstruan përmirësime të rëndësishme kur përdorni kontekstin më të gjatë.

• Kujtim thelbësor: Përqindja e fakteve thelbësore në përgjigje u rrit ndjeshëm.

• Koncizion thelbësor: Përqindja e fakteve thelbësore të normalizuara sipas gjatësisë së përgjigjes gjithashtu u përmirësua, duke treguar përgjigje më koncize dhe më të rëndësishme.

• Dobishmëria: Rezultati i përgjithshëm i ndihmës, i normalizuar sipas gjatësisë së përgjigjes, u rrit ndjeshëm, duke treguar një përvojë më miqësore për përdoruesit.

Për më tepër, përdorimi i modeleve me kontekst të gjatë uli në mënyrë drastike shkallën e përgjithshme të halucinacioneve (gjenerimin e informacionit faktikisht të pasaktë). Shkalla e halucinacioneve u ul nga 18.97% në 10.48%, një përmirësim i dukshëm në saktësinë dhe besueshmërinë.

Ndërsa përfitimet e kontekstit të gjatë janë të rëndësishme, ka kompromis. Koha për shenjën e parë rritet në mënyrë lineare me gjatësinë e kontekstit. Për të zbutur këtë, Sourcegraph zbatoi një mekanizëm para-marrjeje dhe një arkitekturë të modelit të kontekstit të shtresave për ruajtjen e gjendjes së ekzekutimit të modelit. Me modelet Gemini 1.5 Flash dhe Pro me kontekst të gjatë, kjo optimizoi kohën e tokenit të parë nga 30-40 sekonda në rreth 5 sekonda për kontekste 1MB - një përmirësim i konsiderueshëm për gjenerimin e kodit në kohë reale dhe asistencën teknike.

Ky bashkëpunim tregon potencialin transformues të modeleve me kontekst të gjatë në revolucionarizimin e kuptimit dhe gjenerimit të kodit. Ne jemi të ngazëllyer për partneritet me kompani si Sourcegraph për të vazhduar të zhbllokojmë aplikacione dhe paradigma edhe më inovative me dritare të mëdha konteksti.

Për t'u zhytur më thellë në metodologjitë e detajuara të vlerësimit, standardet dhe analizat e Sourcegraph, duke përfshirë shembuj ilustrues, mos e humbisni postimin e tyre të thelluar në blog .