Compression de requête

Description

Prompt Compress est un outil conçu pour optimiser les requêtes LLM afin d'améliorer l'efficacité et la rentabilité. Sa fonction principale est de réduire le nombre de jetons dans une requête tout en préservant son sens et son objectif principaux. Cela est important, car de nombreux modèles d'IA facturent en fonction de l'utilisation des jetons. Il prend une invite et permet aux utilisateurs de spécifier un pipeline d'optimisation avec les meilleures techniques du secteur pour réduire les jetons tout en préservant le sens de l'invite. Il vérifie ensuite la validité de la réponse du LLM à la requête compressée et fournit une analyse de celle-ci par rapport à l'entrée d'origine. La compression de requête utilise Gemini à chaque étape, car la requête d'entrée est transformée pour collecter les réponses, le nombre de jetons, puis pour effectuer une analyse.