Быстрое сжатие

Что он делает

Prompt Compress — это инструмент, предназначенный для оптимизации подсказок LLM для повышения эффективности и экономичности. Его основная функция — сократить количество токенов в подсказке, сохранив ее основное значение и намерение. Это важно, поскольку многие модели ИИ взимают плату на основе использования токенов. Он берет подсказку и позволяет пользователям указать конвейер оптимизации с лучшими в отрасли методами для сокращения токенов, сохраняя при этом значение подсказки. Затем он проверяет на работоспособность ответ LLM на сжатую подсказку и предоставляет его анализ по сравнению с исходными входными данными. Prompt Compress использует Gemini на каждом этапе, поскольку входная подсказка преобразуется для сбора ответов, подсчета токенов, а затем для выполнения анализа.