InstaLILY: Gemini destekli, temsilci tabanlı bir kurumsal arama motoru

B2B satışları veya endüstriyel bakım gibi karmaşık iş akışlarını otomatikleştiren kurumsal yapay zeka aracıları, yüksek kaliteli ve alana özgü büyük miktarda veriyle eğitilmiş modeller gerektirir. Manuel etiketleme yavaş ve pahalı olduğundan, genel modellerde ise gerekli ayrıntı bulunmadığından birçok şirket için bu verilerin oluşturulması temel bir darboğazdır.

Özerk ve dikey yapay zeka temsilcileri için bir kurumsal platform olan InstaLILY AI, şirketlerin satış, hizmet ve operasyonlardaki karmaşık iş akışlarını otomatikleştirmesine ve çalıştırmasına yardımcı olur. PartsTown adlı müşterilerinden biri için, yapay zeka temsilcilerinin saha servis teknisyenlerini beş milyondan fazla öğeden oluşan bir katalogdaki belirli yedek parçalarla anında eşleştirebileceği gerçek zamanlı bir arama motoru oluşturmaları gerekiyordu. Bu, model eğitimi için milyonlarca yüksek kaliteli etiket oluşturmak üzere ölçeklenebilir bir yöntem gerektiriyordu.

InstaLILY AI, bu sorunu çözmek için çok aşamalı bir sentetik veri oluşturma ardışık düzeni geliştirdi. Bu işlem hattında, altın standartta eğitim verileri oluşturmak için "öğretmen" modeli olarak Gemini 2.5 Pro'nun, ölçeklenebilir ve düşük maliyetli üretim dağıtımı sağlamak için ise "öğrenci" olarak ince ayarlı bir Gemma modelinin kullanıldığı bir öğretmen-öğrenci mimarisi kullanılır.

Parça arama motorunun temelinde, bir servis teknisyeninin sorgusunu (ör. "Northland buzdolabı için kompresör") ile tam parça numarası arasında değişir. Bu modeli eğitmek için sorgu-bölüm çiftlerinden oluşan büyük bir veri kümesi kullanıldı.

InstaLILY AI, geleneksel yöntemlerle ilgili çeşitli zorluklarla karşılaştı:

• Ölçeklenebilirlik: Milyonlarca iş emri satırının manuel olarak etiketlenmesi mümkün değildi.
• Maliyet ve kalite: Etiketleme için diğer ileri düzey modellerin kullanılması, nihai çözümlerine kıyasla üç kat daha pahalıydı ve% 15 daha düşük mutabakat oranlarıyla sonuçlandı.
• Performans: Canlı LLM destekli bir arama çok yavaş olurdu. İlk testlerde iki dakikalık gecikme olduğu ve üretimde saniyede 500'den fazla sorgu (QPS) işlenemediği görüldü.

Yüksek kaliteli verileri uygun maliyetle oluşturabilen, hızlı ve doğru bir nihai modelle sonuçlanan bir sisteme ihtiyaç duyuyorlardı.

InstaLILY AI, Gemini 2.5 Pro'nun gelişmiş akıl yürütme özelliklerini kullanarak yüksek kaliteli etiketler oluşturan ve ardından bu bilgileri üretim için daha küçük ve daha verimli modellere dönüştüren üç aşamalı bir işlem hattı geliştirdi.

Ardışık düzen şu şekilde çalışır:

• Sentetik veri oluşturma (öğretmen modeli): Gemini 2.5 Pro, sorgu bölümü çiftleri için altın standart etiketler oluşturur. InstaLILY AI, yüksek doğruluk elde etmek için çok yönlü düşünce zinciri (Multi-CoT) akıl yürütme yöntemini kullanır. Bu yöntem, modeli uyumluluk için marka, kategori, özellikler ve karmaşık iş mantığı dahil olmak üzere parçaları birden fazla açıdan analiz etmeye yönlendirir. Bu yaklaşım, kör test setinde uzmanlarla% 94 oranında uyum sağladı.
• Öğrenci modeli eğitimi: Gemma-7B'yi ince ayar yapmak için Gemini 2.5 Pro'nun yüksek kaliteli etiketleri kullanılır. InstaLILY AI, öğrenci modelini optimize etmek için çeşitli teknikler kullandı. Bu tekniklerden biri olan Doğrudan Tercih Optimizasyonu (DPO), yanlış pozitifleri %40 oranında azalttı. Ayrıca, her örnek için oylama yapan üç ince ayarlı Gemma varyantından oluşan bir topluluk oluşturdular ve etiket hassasiyetini %96'ya çıkardılar.
• Üretim hizmeti: Gemma modellerindeki bilgiler, son üretim ortamı için hafif bir BERT modelinde (110 milyon parametre) özetlenir. Bu daha küçük model, istekleri 600 QPS'de yayınlarken% 89 F1 puanı doğruluğunu korur.

InstaLILY AI ekibi, "Distile edilmiş modelimizi başlatmak için LLM'nin düşünce zinciri etiketlemesi olmasaydı çok büyük miktarda veriyi manuel olarak etiketlemek zorunda kalırdık" dedi. "Gemini, veri hazırlığını önemli ölçüde hızlandırdı ve yüzlerce mühendislik saatini ince ayar ve düzenleme gibi daha etkili görevlere ayırmamıza olanak tanıdı."

Öğretmen-öğrenci mimarisi, hız, maliyet ve doğruluk açısından önemli iyileştirmeler sağladı.

Nihai sistemin elde ettiği sonuç:

• Sorgu gecikmesinde azalma: 2 dakikadan 0,2 saniyeye (%99,8 iyileşme).
• Sunma maliyetinde azalma: 1.000 sorgu başına 0,12 ABD dolarından 0,002 ABD dolarına (%98,3 azalma).
• Yüksek doğruluk: Kör test veri kümesinde ~% 90 F1 puanı.

Geliştirme süreci de hızlandırıldı. Ekip, 48 saat içinde bir prototip ve dört hafta içinde üretime hazır bir işlem hattı oluşturdu. Bu sürecin Gemini ve Gemma ekosistemi olmadan üç ila dört ay süreceğini tahmin ediyorlar.

InstaLILY'nin kurucusu ve CEO'su Amit Shah, "Google Accelerator'ın bir parçası olmak bu yaklaşımın tamamını ortaya çıkardı" diyor. "Uygulamalı teknik destek, Gemini ve Gemma'ya erken erişim ve cömert Cloud kredileri sayesinde prototipten üretime haftalar içinde geçtik, aylar içinde değil."

InstaLILY AI, Gemini'ın çok formatlı özelliklerini kullanarak yapay zeka aracılarının yeteneklerini genişletmeyi planlıyor. Bu sayede teknisyenler, teşhise yardımcı olmak için bozuk bir birimin fotoğrafını yükleyebilir. Ayrıca, düşük güven düzeyine sahip canlı sorguları işaretleyen, bunları açıklama eklenmesi için Gemini'a yönlendiren ve üretim modellerini haftalık olarak yeniden eğiten sürekli bir aktif öğrenme hizmeti geliştiriyorlar.

InstaLILY AI'ın yapay zeka asistanları için geliştirdiği arama motorunun başarısı, Gemini 2.5 Pro'nun akıl yürütme gücünü ince ayarlı Gemma modellerinin verimliliğiyle birleştiren bir öğretmen-öğrenci mimarisinin karmaşık veri oluşturma sorunlarını nasıl çözebileceğini ve yüksek performanslı, ölçeklenebilir yapay zeka uygulamalarını nasıl mümkün kılabileceğini gösteriyor.

Gemini ve Gemma modelleriyle uygulama geliştirmeye başlamak için API belgelerimizi inceleyin.