Raindrop monitoron performancën e agjentëve të IA-së në shkallë të gjerë duke përdorur Gemini 2.5 Flash

Agjentët e inteligjencës artificiale paraqesin sfida unike monitorimi krahasuar me softuerët tradicionalë. Dështimet në sistemet e inteligjencës artificiale shpesh janë "të heshtura", që do të thotë se ato mund të mos prodhojnë përjashtime ose gabime standarde, gjë që e bën zbulimin e problemeve më të vështirë për ekipet e inxhinierisë. Metodat tradicionale të debugging-ut, të tilla si shqyrtimi i regjistrave ose mbështetja në vlerësimet para-prodhimit, mund të mos arrijnë të kapin problemet e performancës në botën reale.

Raindrop ofron një platformë monitorimi të projektuar posaçërisht për agjentët e IA-së në prodhim. Ai ndihmon ekipet e inxhinierisë të identifikojnë probleme komplekse si dështimet e thirrjeve të mjeteve dhe frustrimin e përdoruesve duke përpunuar rrjedha masive të ndërveprimeve të përdoruesve. Për të fuqizuar në mënyrë efikase kanalin e saj të monitorimit, Raindrop përdor Gemini 2.5 Flash për kategorizim, përmbledhje dhe rirenditje të kërkimit.

Platforma e Raindrop përpunon dhjetëra miliona ngjarje çdo ditë. Një sfidë kryesore për Raindrop është mundësimi i ekipeve të inxhinierisë për të pyetur dhe klasifikuar problemet në këto grupe të dhënash të gjera në kohë pothuajse reale. Kur një përdorues përcakton një problem të ri për të monitoruar, sistemi i Raindrop duhet të interpretojë shpejt qëllimin e përdoruesit dhe të analizojë rrjedhat e ngjarjeve për të gjetur përputhje.

Ky përpunim me rendiment të lartë kërkon modele që ofrojnë vonesë jashtëzakonisht të ulët dhe efikasitet të lartë të kostos. Raindrop kishte nevojë për një zgjidhje për të fuqizuar tubacionin e tij kryesor të "monitorimit semantik" dhe veçori të reja si Deep Search - një mjet për të hulumtuar të dhënat e inteligjencës artificiale të prodhimit - pa pasur kosto të tepërta ose kohë të ngadalta reagimi që do të zvogëlonin përvojën e përdoruesit.

"Na duhej një model që mund t'i përpunonte shpejt këto ngjarje fillestare me një kosto të arsyeshme", tha Ben Hylak, bashkëthemelues dhe drejtor teknologjik i Raindrop. "Latenca dhe inteligjenca e ulët e Gemini 2.5 Flash mundësojnë produktin tonë të Kërkimit të Thellë, i cili përndryshe do të ishte i papërdorshëm - shumë i ngadaltë dhe shumë i shtrenjtë me modelet e tjera."

Raindrop integroi Gemini 2.5 Flash për të menaxhuar kategorizimin dhe rishkrimin e pyetjeve. Implementimi u thjeshtua duke përdorur Vercel AI SDK, duke i lejuar Raindrop të integrojë modelet shpejt.

Raindrop përdor Gemini 2.5 Flash për disa funksione kryesore:

• Zgjerimi dhe rishkrimi i pyetjeve: Në procesin e Kërkimit të Thellë, Gemini 2.5 Flash përdoret për të rishkruar pyetjet e përdoruesve për të optimizuar rezultatet, duke përmirësuar rëndësinë e kërkimit në miliona ngjarje.
• Rezultatet e strukturuara: Raindrop përdor thirrjen e mjeteve dhe rezultatet e strukturuara për të siguruar rezultate më të sakta nga ndërveprimet e modelit. Kjo besueshmëri është kritike për debugging dhe ofrimin e gjurmëve të sakta të arsyetimit për përdoruesit.

Duke kaluar në modelin Gemini 2.5 Flash, Raindrop arriti përmirësime të konsiderueshme në performancë dhe efikasitet.

Rezultatet kryesore përfshijnë:

• Kohëzgjatja e kërkimit është zvogëluar nga orë në shpesh më pak se një minutë
• Shpenzimet u ulën me më shumë se 90%
• Besueshmëri e shtuar si në vlerësime ashtu edhe në monitorimin e prodhimit

Raindrop po vazhdon të ndërtojë platformën e saj të monitorimit të bazuar në agjentë me karakteristika si gjurmimi i plotë dhe zbulimi automatik i problemeve të thirrjeve të mjeteve. Ata besojnë se, ndërsa modelet e inteligjencës artificiale bëhen më të shpejta dhe më të besueshme, agjentët do të jenë në gjendje të përballojnë detyra gjithnjë e më komplekse.

"Zhvilluesit duhet të përfitojnë nga rezultatet e strukturuara dhe modeli i çmimeve të Gemini 2.5 Flash për të mundësuar raste përdorimi që më parë mund të kenë menduar se ishin tepër të shtrenjta", këshilloi Hylak. "Gemini 2.5 Flash ka të ngjarë të ndryshojë rrjedhën e zhvillimit të produktit tuaj duke ju lejuar t'u ofroni përdoruesve tuaj përvoja inteligjente që funksionojnë realisht me modelin tuaj të çmimeve."

Për të filluar ndërtimin e aplikacioneve tuaja, eksploroni aftësitë e modeleve Gemini në dokumentacionin tonë të API-t .