技術的な観点から、Gov Notes は Gemini の generate_content API と embed_content API に加えて、RAG 用の Postgres PgVector DB を使用して政府の聴聞の音声文字変換を分析します。前処理では、生成された各キーポイントが RAG を使用して検証され、「証拠」として機能する 30 秒間の文字起こしテキスト スニペットが存在することを確認します。検証に失敗したキーポイントは除外され、誤った情報の拡散を防ぎます。チャット機能は、Gemini の「関数呼び出し」と同様な RAG プロセスを使用してチャットにフックし、現在のチャット トピックが議論されている動画内の直接タイムスタンプに対するすべての回答を処理します。サイト全体の検索は、すべてのキーポイントと文字起こしスニペットの重み付けされた組み合わせに対するセマンティック類似性ベクトル検索を使用して実装されています。数十万個のベクトルに対して高速な検索を実現しているのは、慎重に作成された SQL と、ベクトルに対する HNSW インデックスによるものです。
構成
ウェブ/Chrome
GCP の Cloud Run
Cloud SQL と Artifact Registry。YouTube Data API。Google 生成 AI エンベディング モデル。また、動画の送信には vids.google.com のベータ版も使用できます。
チーム
By
政府向けのメモ / Jason Steving / Kenny Mayhue
差出人
米国
[[["わかりやすい","easyToUnderstand","thumb-up"],["問題の解決に役立った","solvedMyProblem","thumb-up"],["その他","otherUp","thumb-up"]],[["必要な情報がない","missingTheInformationINeed","thumb-down"],["複雑すぎる / 手順が多すぎる","tooComplicatedTooManySteps","thumb-down"],["最新ではない","outOfDate","thumb-down"],["翻訳に関する問題","translationIssue","thumb-down"],["サンプル / コードに問題がある","samplesCodeIssue","thumb-down"],["その他","otherDown","thumb-down"]],[],[],[],null,["# Gov Notes\n\n[More Apps](/competition/vote) \n\nGov Notes\n=========\n\nGov Notes uses Gemini AI to make citizens more engaged in government \nVote \nVoted!\nWhat it does\n\nGov Notes is a website that allows users to quickly understand lengthy government meetings. Users can search for specific committees or topics where they will eventually be taken to a hearing summary page. This page allows the user to scan for key points which they can click on to view the portion of the video where that key point is discussed. In addition, this page contains a Gemini-powered chat where the user can ask follow up questions about the video to dive deeper. This chat enables users to ask when their current topic was discussed and be presented a direct link into the video. \n\nFrom a technical perspective, Gov Notes analyzes government hearing transcripts using Gemini's generate_content and embed_content APIs as well as a Postgres PgVector DB for RAG. During pre-processing, each generated key point is validated using RAG to ensure there exists a 30 second snippet of transcript text that serves as \"evidence\", dropping key points that fail validation to avoid spreading misinformation. The chat feature uses Gemini's \"function calling\" and a similar RAG process to hook into the chat, handling all responses for direct timestamps in the video where the current chat topic was discussed. Sitewide search is implemented using a semantic similarity vector search over a weighted combination of all key points and transcript snippets. Performant search over hundreds of thousands of vectors is the result of carefully crafted SQL and an HNSW index over the vectors. \nBuilt with\n\n- Web/Chrome\n- GCP's Cloud Run\n- Cloud SQL \\& Artifact Registry. YouTube Data API. Google Generative AI Embeddings Model. Also vids.google.com's Beta for the video submission. \nTeam \nBy\n\nGov Notes / Jason Steving / Kenny Mayhue \nFrom\n\nUnited States \n[](/competition/vote)"]]