Gemini modellerinin uzun bağlamıyla yapay zeka kodlama asistanlarını güçlendirme

Uzun bağlam pencerelerinin uygulanmasında en heyecan verici alanlardan biri kod oluşturma ve anlamadır. Büyük kod tabanları, karmaşık ilişkileri ve bağımlılıkları derinlemesine anlamanızı gerektirir. Bu, geleneksel yapay zeka modellerinin anlaması zor bir konudur. Büyük bağlam pencereleriyle kod miktarını artırarak kod oluşturma ve anlama konusunda yeni bir doğruluk ve kullanışlılık düzeyine ulaşabiliriz.

Gerçek kodlama senaryolarında uzun bağlam pencerelerinin potansiyelini keşfetmek için Gemini 1.5 Pro ve Flash gibi LLM'leri destekleyen Cody yapay zeka kodlama asistanı'nın geliştiricisi Sourcegraph ile birlikte çalıştık. Sourcegraph'ın kod arama ve zekayı yapay zeka kod oluşturma sürecine entegre etmeye odaklanması ve Cody'nin Palo Alto Networks ve Leidos gibi büyük ve karmaşık kod tabanlı işletmelere başarılı bir şekilde dağıtılması, bu keşif için ideal iş ortağı olmalarını sağladı.

Sourcegraph, Cody'nin 1 milyon parçalık bağlam penceresine sahip performansını (Google'ın Gemini 1.5 Flash'ı kullanılarak) üretim sürümüyle karşılaştırdı. Bu doğrudan karşılaştırma, genişletilmiş bağlamın avantajlarını belirlemelerine olanak tanıdı. Büyük kod tabanlarıyla çalışan geliştiriciler için önemli bir görev olan teknik soruları yanıtlamaya odaklandılar. Derin kod bilgisi gerektiren zorlu sorulardan oluşan bir veri kümesi kullandılar.

Elde edilen sonuçlar çarpıcıydı. Sourcegraph'ın temel karşılaştırmalarından üçü (Temel Hatırlama, Temel Özet ve Faydalı Olma) daha uzun bağlam kullanıldığında önemli iyileştirmeler gösterdi.

• Temel Hatırlama: Yanıtta önemli bilgilerin oranı önemli ölçüde arttı.

• Temel Özet: Yanıt uzunluğuna göre normalleştirilmiş temel bilgilerin oranı da iyileşti. Bu, daha öz ve alakalı yanıtlar verildiği anlamına geliyor.

• Faydalı olma: Yanıt uzunluğuna göre normalleştirilmiş genel fayda düzeyi puanı önemli ölçüde arttı. Bu da daha kullanıcı dostu bir deneyim sunulduğuna işaret ediyor.

Ayrıca, uzun bağlamlı modellerin kullanılması genel halüsinasyon oranını (gerçekte yanlış bilgilerin oluşturulması) önemli ölçüde azalttı. Halüsinasyon oranı% 18,97'den %10,48'e düştü. Bu, doğruluk ve güvenilirlik açısından önemli bir gelişmedir.

Uzun bağlamın avantajları önemli olsa da bazı dezavantajları da vardır. İlk jetona ulaşma süresi, bağlamın uzunluğuyla doğrusal olarak artar. Sourcegraph, bu sorunu azaltmak için model yürütme durumu önbelleğe alma işlemi için bir ön getirme mekanizması ve katmanlı bir bağlam modeli mimarisi uyguladı. Gemini 1.5 Flash ve Pro uzun bağlam modelleriyle bu, 1 MB bağlamlar için ilk jetonun elde edilme süresini 30-40 saniyeden yaklaşık 5 saniyeye optimize etti. Bu, gerçek zamanlı kod oluşturma ve teknik destek için önemli bir gelişmedir.

Bu ortak çalışma, uzun bağlamlı modellerin kod anlama ve oluşturma konusunda devrim yaratacak dönüştürücü potansiyelini gösteriyor. Büyük bağlam pencereleriyle daha da yenilikçi uygulamalar ve paradigmalar sunmaya devam etmek için Sourcegraph gibi şirketlerle iş ortaklığı yapmaktan heyecan duyuyoruz.

Sourcegraph'ın ayrıntılı değerlendirme metodolojileri, karşılaştırmaları ve analizleri hakkında daha fazla bilgi edinmek için ayrıntılı blog yayınlarını inceleyin.