Mit einem Large Language Model betriebener Evaluator für RAG-Pipelines.
Funktion
Es bietet ein LLM-basiertes Framework zur Bewertung der Leistung von RAG-Systemen anhand einer Reihe von Messwerten, die für die Anwendungsdomäne optimiert sind, in der das RAG-System verwendet wird. Wir haben das Gemini Pro 1.0 von Google AI als LLM für das Framework verwendet. Außerdem haben wir das Einbettungsmodell von Google AI verwendet, um Einbettungen für einige der Messwerte zu generieren.
Basis
Keine
Team
Von
llm-rag-eval
Von
USA
[[["Leicht verständlich","easyToUnderstand","thumb-up"],["Mein Problem wurde gelöst","solvedMyProblem","thumb-up"],["Sonstiges","otherUp","thumb-up"]],[["Benötigte Informationen nicht gefunden","missingTheInformationINeed","thumb-down"],["Zu umständlich/zu viele Schritte","tooComplicatedTooManySteps","thumb-down"],["Nicht mehr aktuell","outOfDate","thumb-down"],["Problem mit der Übersetzung","translationIssue","thumb-down"],["Problem mit Beispielen/Code","samplesCodeIssue","thumb-down"],["Sonstiges","otherDown","thumb-down"]],[],[],[]]
