Gemini 1.5 Flash の値下げ、すべてのデベロッパー向けのファインチューニングアクセスなど詳細

このページは Cloud Translation API によって翻訳されました。

ドキュメントエージェントを使用した AI コンテンツ検索の構築

情報の検索は、AI テクノロジーの最も一般的な用途の一つ生成モデルの例を紹介します。会話型検索インターフェースの構築 AI を使用してコンテンツに最適なコンテンツを提供することで直接回答します。

このチュートリアルでは、AI を活用した会話型検索の構築方法について説明します作成しましょう。基礎となるのはドキュメントエージェント Google Gemini API を使用して会話形式の会話を作成する新しい AI モデルのトレーニングやモデルのチューニングを行うことなく、 Gemini モデル。つまり、検索機能をすばやく構築して、コンテンツの規模の大小に使用してください。

プロジェクトの概要と拡張方法（分析情報を含む）の動画のストーリーをご覧ください。 AI によるコンテンツ検索 |Google AI で構築する。それ以外の場合は、手順に沿ってプロジェクトの拡張を開始できます。ご覧ください

概要

ドキュメントエージェントプロジェクトは、特定のドキュメントを対象とした会話型検索インターフェースを Google Gemini API と生成モデルによって支えられています。ユーザーは、会話形式で詳細な質問をすると、詳細な回答が得られます特定のコンテンツセットに基づいて作成できますドキュメントエージェントはバックグラウンドでコンテンツのベクトルデータベースに対して検索を行い、関連するテキストのスニペットを含む、生成モデルの詳細なプロンプト生成モデルが質問に対する回答を生成し、Google ドキュメントエージェントがレスポンスをフォーマットしてユーザーに表示します。

ドキュメントエージェントの機能図 図 1. ドキュメントエージェントプロジェクトアプリの機能図。

ドキュメントエージェントがコンテンツに関する質問に答えられるようにするには、ベクトルデータベースを作成できます。コンテンツを分割し、それぞれに対してベクトルを生成します。これらのベクトルは各チャンク内の情報を数値表現で表したもので、 Google の生成モデルによる AI テキストエンベディング関数です。

ユーザーが質問すると、ドキュメントエージェントは同じテキスト埋め込みを使用します。関数を使って質問の数値表現を作成し、それを使ってベクトルデータベースを検索して関連コンテンツを見つけます。トップを担うその情報を生成モデルのプロンプトに追加します。AI モデルは質問と追加のコンテキスト情報を受け取り、あります。

プロジェクトの設定

ここでは、Google ドキュメントエージェントプロジェクトを設定して開発とテストに集中できます一般的な手順では、いくつかの前提条件をインストールします。環境変数の設定、コードからのプロジェクトのクローン作成、構成のインストールを実行します。コードプロジェクトでは、 Python Poetry でパッケージと Python ランタイム環境です。

前提条件をインストールする

ドキュメントエージェントプロジェクトでは、Python 3 と Python Poetry を使用してパッケージを管理し、アプリケーションを実行します。次のインストール手順は Linux の場合です。接続します

必要なソフトウェアをインストールするには:

Python 3 と、Python 用の venv 仮想環境パッケージをインストールします。
```
sudo apt update
sudo apt install git pip python3-venv
```
Python Poetry をインストールして、依存関係とパッケージ化を管理するプロジェクト。
```
curl -sSL https://install.python-poetry.org | python3 -
```

Python Poetry を使用して、Python ライブラリをさらに追加するには、できます。

環境変数を設定する

ドキュメントエージェントコードを許可するために必要な環境変数を設定するプロジェクト（Google Gemini API キー、Python など）詩の設定。これらの変数を $HOME/.bashrc ファイルに追加できます。 Linux を使用している場合は、ターミナルのデフォルト設定にします。あります。

環境変数を設定するには:

Google Gemini API キーを取得し、キー文字列をコピーします。
API キーを環境変数として設定します。Linux ホストでは、
```
export API_KEY=<YOUR_API_KEY_HERE>
```
既知の既知の脅威や問題 Python 詩の場合は PYTHON_KEYRING_BACKEND パラメータを設定します。 Linux ホストでは、次のコマンドを使用します。
```
export PYTHON_KEYRING_BACKEND=keyring.backends.null.Keyring
```

プロジェクトのクローンを作成して構成する

プロジェクトコードをダウンロードし、Poetry インストールコマンドを使用してダウンロードします。プロジェクトを構成します。必要な git ソース管理システムを使用してソースコードを取得できます。外部プロジェクトコードをダウンロードして構成するには:

次のコマンドを使用して Git リポジトリのクローンを作成します。
```
git clone https://github.com/google/generative-ai-docs
```
必要に応じて、スパースチェックアウトを使用するようにローカルの Git リポジトリを構成します。そのため、ドキュメントエージェントプロジェクトのファイルのみが含まれることになります。
```
cd generative-ai-docs/
git sparse-checkout init --cone
git sparse-checkout set examples/gemini/python/docs-agent/
```
docs-agent プロジェクトのルートディレクトリに移動します。
```
cd examples/gemini/python/docs-agent/
```
Poetry インストールコマンドを実行して依存関係をダウンロードし、構成するプロジェクト:
```
poetry install
```

コンテンツを準備する

ドキュメントエージェントプロジェクトは、テキストコンテンツを操作できるように設計されており、次の機能が含まれています。特に Markdown をソース形式として使用するウェブサイトと連携します。ウェブサイトのコンテンツを扱う場合は、コンテンツ処理タスクを可能にする、提供されたウェブサイトのディレクトリ構造そのコンテンツへのリンクをマッピングして作成できます

コンテンツの形式と詳細によっては、非公開情報、内部メモ、またはその他の情報を削除するコンテンツ検索できないようにします基本的な書式はタイトルや見出しとして使用することもできます。これにより、コンテンツ処理ステップに進みます

処理するコンテンツを準備するには:

AI エージェントが検索するコンテンツのディレクトリを作成します。
```
mkdir docs-agent/content/
```
コンテンツを docs-agent/content/ ディレクトリにコピーします。もしディレクトリ構造を保持（または複製）して、表示されます。
必要に応じてコンテンツをクリーンアップまたは編集し、非公開情報を削除する。検索に含めたくないその他の情報を検索できます。

テストに Flutter のドキュメントを使用する

ドキュメントエージェントをテストするための一連のコンテンツが必要な場合は、Flutter でデベロッパー向けドキュメントをご覧ください。

Flutter デベロッパードキュメントを取得するには:

AI エージェントに実行させたいコンテンツのコンテンツディレクトリに移動します。できます。
```
cd docs-agent/content/
```
Flutter ドキュメントのクローンを docs-agent/content/ ディレクトリに作成します。
```
git clone --recurse-submodules https://github.com/flutter/website.git
```

コンテンツを処理する

検索エージェントが関連するコンテンツを効果的に検索できるように、ユーザーモデルを表すベクトルのデータベースを説明します。ベクトルは、トレーニングデータセットに含まれる テキストエンベディング。テキストエンベディングはテキストの数値表現説明します。テキストのセマンティックな意味をあります。情報を数値で表現することでユーザーの質問に対して、同じテキストエンベディングを使用してその意味を近似関数を実行し、関連する情報を数学的計算として k 最近傍必要があります。

テキストコンテンツを分割する

テキストエンベディングベクトルが効果的に表現できるテキストの量は、制限されています。このプロジェクトでは、ベクトルで表現されるテキストが 3,000 文字に制限されています。コンテンツを小さなデータサイズなどのチャンクに分割する必要があります。このセクションでは、 Markdown ファイルを小さなテキストチャンクに分割するドキュメントエージェントプロジェクト。Google Chat 向けの他のコンテンツ形式とのコラボレーションについては、その他の形式を処理する。

で確認できます。

マークダウン形式のコンテンツを分割するには:

編集して、処理スクリプトの入力パラメータを構成します。 docs-agent/config.yaml ファイル。この例では、サブセットと
ドキュメントをご覧ください。
```
input:
- path: "content/website/src/ui"
  url_prefix: "https://docs.flutter.dev/ui"
```
この構成ファイルへの変更を保存します。
docs-agent プロジェクトディレクトリに移動します。
```
cd docs-agent/
```
agent chunk コマンド
を実行して、Markdown ソースコンテンツを分割します。
```
agent chunk
```

このスクリプトは、入力コンテンツを処理し、出力テキストファイルを docs-agent/data ディレクトリで、タイトル、見出し、関連段落がありません。ファイルのサイズによって、処理に時間がかかることがあります。説明します。

テキストエンベディングベクトルを作成する

コンテンツを適切なサイズで意味のあるチャンクに分割すると、テキストエンベディングを使用してベクトルデータベースにコンテンツを入力できます使用します。ドキュメントエージェントプロジェクトでは、Chroma ベクトルエンベディングベクトルを格納したベクトルデータベースです。ここでは、ドキュメントエージェントスクリプトを使用して、分割データをベクトルデータベースに入力します。説明します。

テキストエンベディングを生成してベクトルデータベースにデータを入力するには:

docs-agent プロジェクトディレクトリに移動します。
```
cd docs-agent/
```
agent populate を使用して、ベクトルデータベースにコンテンツを入力します。コマンド:
```
agent populate
```

このスクリプトでは、Google Gemini API を使用してテキストエンベディング出力をベクトルデータベースに保存します。この処理には時間がかかることがありますコンテンツのサイズに応じて変わります。

他の形式を処理する

ドキュメントエージェントプロジェクトは、Markdown でウェブサイトコンテンツを処理するように設計されています使用できます。プロジェクト作成者は、いくつかのコンバータスクリプトを作成して、その他の種類のコンテンツをマークダウン形式（Google ドキュメント、ポータブルドキュメント形式（PDF）、Gmail などがあります。これらの機能の使用について詳しくはコンバージョンを達成したユーザーについては、 docs-agent/apps_script ディレクトリに移動します。

他のコンテンツ形式に変換する

プロジェクトで他のコンテンツ形式を使用することもできますが、あなたや他のコミュニティのメンバーが、追加のメソッドを構築する必要があります。コードリポジトリを確認する問題と pull リクエスト同様のソリューションを構築している方向けに説明します

他のコンテンツ形式をサポートするために作成する必要があるキーコードは、スプリッターです。スクリプトを files_to_plain_text.py 使用します。これと同様の出力を作成するスクリプトまたはプログラムを作成することを目指します。使用します。最終的なテキスト出力は、最小限の書式設定と無関係な情報が含まれます。HTML や JSON などのコンテンツ形式を使用している場合情報以外の形式（タグ、スクリプト、CSS など）を可能な限り使用して、テキストの値に歪みが生じないようにします。基づいて生成します。

コンテンツ形式のスプリッタースクリプトを作成すると、次のことができるようになります。実行 populate_vector_database.py ベクトルデータベースにデータを入力します。処理についての詳細はドキュメントエージェントで使用できるファイルについては、ドキュメントエージェントを前処理の README。

アプリをテストする

ベクトルデータベースへのデータ入力が完了すると、プロジェクトが使用可能になります使用できます。このプロジェクトにはパッケージ化関数が用意されており、これを使用して作成する必要があります。

プロジェクトのウェブインターフェースを実行してテストするには:

docs-agent プロジェクトディレクトリに移動します。
```
cd docs-agent/
```
ウェブアプリケーションの起動スクリプトを実行します。
```
agent chatbot
```
ウェブブラウザを使用して、起動スクリプトの出力を開いて、アプリケーションをテストします。
```
* Running on http://your-hostname-here:5000
```

で確認できます。

選べる実装方法

Gemini API は、アプリのコンポーネントを置き換えることができるプログラミングツールを提供します。ドキュメントエージェントの実装。具体的には、セマンティック取得とアトリビューションあり質問応答（AQA）Gemini モデルバリアント。Gemini API のセマンティック取得ベクトルデータベースを置き換えます。セマンティック取得機能を使用すると、コンテンツのエンベディングを生成し、そのコンテンツを保存できます。「 AQA Gemini モデルのチューニングプロンプトで提供されたソース資料を使用して質問に答える。セマンティックを使用している場合 AQA モデルと一緒に取得して、質問に答えるすべて Gemini API 内で行うことができます

ドキュメントエージェントには、Security Command Center、 Retrieval API 機能、その AQA Gemini モデル、またはその両方。詳細については、次をご覧ください: ドキュメントエージェントの Readme

参考情報

ドキュメントエージェントプロジェクトについて詳しくは、コードリポジトリ。アプリケーションの構築についてサポートが必要な場合や、開発者をお探しの場合詳しくは、 Google Developers コミュニティの Discord あります。

本番環境のアプリケーション

多数のユーザー向けにドキュメントエージェントをデプロイする予定の場合は、 Google Gemini API は、レート制限やその他の使用制限。 Gemini API を使用した本番環境アプリケーションの構築をドキュメントエージェントの Google Cloud Vertex AI アプリケーションのスケーラビリティと信頼性を向上させる。