İstem Sıkıştırma

Ne işe yarar?

İstem sıkıştırıcı, LLM istemlerini verimlilik ve maliyet uygunluğu açısından optimize etmek için tasarlanmış bir araçtır. Temel işlevi, temel anlamını ve amacını korurken istemdeki jeton sayısını azaltmaktır. Birçok yapay zeka modeli, jeton kullanımına göre ücret aldığından bu bilgi önemlidir. Bir istem alır ve kullanıcıların, istemin anlamını korurken jetonları azaltmak için sektördeki en iyi teknikleri içeren bir optimizasyon ardışık düzeni belirtmesine olanak tanır. Ardından, sıkıştırılmış istem için LLM yanıtını doğruluk kontrolü yapar ve orijinal girişle karşılaştırıldığında yanıtın analizini sağlar. İstem sıkıştırıcı, giriş istemi yanıtları, jeton sayıları toplamak ve ardından analiz yapmak için dönüştürüldüğünden her aşamada Gemini'yi kullanır.