Искусственный интеллект ведомого

Что он делает

Представьте, что вы могли бы говорить с персонажами ИИ где угодно на любом языке, и они бы ответили. Просто представьте, что вы могли бы контролировать не только их личность и голос, но и научить их выполнять команды для вас и использовать внешние знания в своих играх.
Wingman AI — это локальное клиент-серверное приложение, работающее на Windows и MacOS. Бэкенд имеет открытый исходный код и написан на Python, а фронтенд — это веб-приложение с закрытым исходным кодом. Пользовательский интерфейс прост в использовании, поэтому как фанаты ИИ, так и геймеры могут использовать разных поставщиков ИИ, чтобы сделать своих Wingmen своими.
Wingman представляет собой комбинацию персональных подсказок, конфигурации преобразования текста в речь, преобразования речи в текст и поставщика LLM, определений команд и дополнительных навыков.
Wingman AI Core обрабатывает синтез речи пользователя, затем отправляет ее в Gemini, обрабатывает ответ и, наконец, преобразует его обратно в речь. Он использует вызов функций AI для выполнения команд, таких как нажатия клавиш или макросы, которые пользователи могут записывать во внешнем интерфейсе и запускать без необходимости заучивать точные фразы активации.
Навыки по сути представляют собой присоединяемые пользовательские скрипты/расширения Python, которые позволяют Wingman запускать любой код, который может использоваться для подключения к внешним API, SDK, ИИ-зрению и т. д.
Wingman AI не ограничивается Gemini, но мы интегрировали его как первоклассного поставщика, как только получили к нему доступ. Мы обнаружили, что это отличная модель для обработки сложных системных подсказок и длинных разговоров, а также впечатлены его возможностями резюмирования.