llm-rag-eval

यह क्या करता है

यह आरएजी सिस्टम की परफ़ॉर्मेंस का आकलन करने के लिए, एलएलएम पर आधारित फ़्रेमवर्क उपलब्ध कराता है. इसके लिए, उन मेट्रिक का इस्तेमाल किया जाता है जो उस ऐप्लिकेशन डोमेन के लिए ऑप्टिमाइज़ की जाती हैं जिसमें आरएजी सिस्टम काम करता है. हमने Google के एआई से Gemini Pro 1.0 का इस्तेमाल किया है, क्योंकि फ़्रेमवर्क में एलएलएम का इस्तेमाल किया जाता है. हमने कुछ मेट्रिक के लिए एम्बेड जनरेट करने के लिए, Google के एआई एम्बेडिंग मॉडल का भी इस्तेमाल किया है.