Wingman AI

機能

どこにいても、好きな言語で AI キャラクターに話しかけ、返答をもらうことができるとしたらどうでしょう。エージェントの性格や声だけでなく、エージェントが命令を実行したり、ゲームで外部知識を利用したりする方法を教えたりできると想像してみてください。
Wingman AI は、Windows と macOS で動作するローカル クライアント サーバー アプリです。バックエンドはオープンソースで Python で記述されていますが、フロントエンドはクローズドソースのウェブアプリです。UI は使いやすいため、AI ファンとゲーマーの両方がさまざまな AI プロバイダを使用して独自の Wingman を作成できます。
Wingman は、個性プロンプト、テキスト読み上げ、音声文字変換、LLM プロバイダの構成、コマンド定義、オプションのスキルを組み合わせたものです。
Wingman AI Core は、ユーザーの音声の合成を処理し、Gemini に送信してレスポンスを処理し、最終的に音声に変換します。AI 関数呼び出しを使用して、キー操作やマクロなどのコマンドを実行します。ユーザーは、正確な起動フレーズを学習しなくても、フロントエンドでコマンドを録音して実行できます。
スキルは基本的に、Wingman が外部 API、SDK、AI ビジョンなどに接続するために使用できる任意のコードを実行できるようにする、接続可能なカスタム Python スクリプト/拡張機能です。
Wingman AI は Gemini に限定されませんが、Google は Wingman AI を利用できるようになるとすぐに、それをファーストクラス プロバイダとして統合しました。複雑なシステム プロンプトと長い会話を処理するのに優れたモデルであることがわかりました。また、要約機能にも感銘を受けました。