llm-rag-eval

RAG パイプライン用の大規模言語モデルを活用したエバリュエータ。

機能

LLM ベースのフレームワークを提供し、RAG システムが動作するアプリケーション ドメイン用に最適化された一連の指標を使用して、RAG システムのパフォーマンスを評価します。このフレームワークで使用する LLM として、Google AI の Gemini Pro 1.0 を使用しています。また、Google AI エンベディング モデルを使用して、一部の指標のエンベディングも生成しています。

構成

  • なし

チーム

By

llm-rag-eval

差出人

米国