یکی از بزرگترین چالشهای سیستمهای RAG (تولید با بازیابی)، «توهم» یا تولید اطلاعات نادرست است. حالا محققان چارچوب جدیدی به نام «RT4CHART» معرفی کردهاند که به جای امتیازدهی کلی، پاسخها را به ادعاهای کوچکتر تقسیم کرده و آنها را بهطور سلسلهمراتبی با اسناد بازیابی شده مطابقت میدهد.
این روش نه تنها دقت را به شدت بالا میبرد، بلکه به جای ارائه یک امتیاز مبهم، مشخص میکند دقیقاً کجای پاسخ نیاز به اصلاح دارد یا با کدام بخش از منبع در تضاد است. در تستهای انجام شده، این مدل توانسته است تا ۸۳ درصد عملکرد بهتری نسبت به روشهای مشابه داشته باشد.
ابزاری حیاتی برای توسعهدهندگانی که به دنبال کاهش توهمات مدلهای زبانی در کاربردهای حساس هستند! 🔍🤖
منبع: arXiv NLP