Jayu

機能

Jayu は、Gemini の機能を画面上の操作とシームレスに統合した革新的なパーソナル アシスタントです。Jayu は LLM の能力の限界を打ち破り、Gemini を利用して、技術に精通したユーザーから技術に不慣れなユーザーまで、すべてのユーザーにユーザー中心のエクスペリエンスを提供します。Docker コンテナ、複雑なインターフェース、Gemini 以外の LLM や VLM はありません。使いやすさを考慮して、音声文字変換、テキスト読み上げ、ジェスチャー認識機能が組み込まれています。

Jayu の強みは、画面をコンテキストとしてプロンプトに回答し、画面上の要素を操作できる独自の機能にあります。Jayu は、図に基づくコードの記述から、アプリの直接操作、リアルタイム翻訳の読み上げまで、すべてを実行できます。

コマンド センターとして Flash モデルが使用されます。ユーザーからの指示を受け取った後、モデルは関数呼び出しを使用して他の Gemini モデルを呼び出し、必要に応じてタスクを支援します。Flash モデルはプロンプト エンジニアリングにより Chrome と直接やり取りし、簡単な質問に回答します。一方、Pro モデルは Gemini の強力なビジョン機能を使用してアプリ ウィンドウを分析するようにトレーニングされています。また、Gemini のオブジェクト検出機能により、Jayu は画面に表示されているボタンをクリックできます。

画面やファイルにアクセスするセキュリティ リスクは認識しています。Jayu は、表示されていないフォルダやアプリにはアクセスできません。Jayu は、直接プロンプトが表示された場合にのみ画面を撮影します。また、画像や録画のメモリやログは保持されません。