llm-rag-eval

O que faz?

Ele fornece um framework baseado em LLM para avaliar o desempenho dos sistemas de RAG usando um conjunto de métricas otimizadas para o domínio do aplicativo em que o sistema de RAG opera. Usamos o Gemini Pro 1.0 da IA do Google como o LLM usado pela estrutura. Também usamos o modelo de embedding de IA do Google para gerar embeddings para algumas das métricas.