أداة تقييم مستندة إلى نموذج لغوي كبير لعمليات نقل البيانات في نموذج RAG
وظيفتها
يوفّر إطار عملًا مستندًا إلى نموذج التعلّم الآلي (LLM) لتقييم أداء أنظمة RAG باستخدام مجموعة من المقاييس المحسّنة لنطاق التطبيق الذي يعمل فيه (نظام RAG). لقد استخدمنا Gemini Pro 1.0 من Google AI كنموذج لغوي كبير يستخدمه الإطار. لقد استخدمنا أيضًا نموذج إدراج الذكاء الاصطناعي من Google لإنشاء إدراجات لبعض المقاييس.
مصمَّم بالاستناد إلى
ما من شبكة
الفريق
من
llm-rag-eval
من
الولايات المتحدة
[[["يسهُل فهم المحتوى.","easyToUnderstand","thumb-up"],["ساعَدني المحتوى في حلّ مشكلتي.","solvedMyProblem","thumb-up"],["غير ذلك","otherUp","thumb-up"]],[["لا يحتوي على المعلومات التي أحتاج إليها.","missingTheInformationINeed","thumb-down"],["الخطوات معقدة للغاية / كثيرة جدًا.","tooComplicatedTooManySteps","thumb-down"],["المحتوى قديم.","outOfDate","thumb-down"],["ثمة مشكلة في الترجمة.","translationIssue","thumb-down"],["مشكلة في العيّنات / التعليمات البرمجية","samplesCodeIssue","thumb-down"],["غير ذلك","otherDown","thumb-down"]],[],[],[]]