اگر در حوزه توسعه سیستمهای «بازیابی-تولید» یا همان RAG فعالیت میکنید، حتماً میدانید که انتخاب متریک مناسب برای سنجش کیفیت پاسخها چقدر چالشبرانگیز است! 🏗️
در یک پژوهش جدید، محققان عملکرد چهار کتابخانه محبوب ارزیابی یعنی Ragas، DeepEval، RAGChecker و Opik را روی مجموعهدادههای واقعی کسبوکار بررسی کردهاند. این مقاله نه تنها همبستگی این معیارها را با قضاوتهای انسانی تحلیل میکند، بلکه محدودیتهای موجود در روشهای فعلی را نیز زیر ذرهبین برده است.
مطالعه این تحقیق برای هر کسی که به دنبال بهبود دقت و قابلاعتماد بودن سیستمهای هوش مصنوعی سازمانی است، یک ضرورت به حساب میآید! 💡
منبع: arXiv NLP
