یکی از بزرگترین مشکلات مدلهای زبانی بزرگ (LLM)، بیانِ با اعتمادبهنفسِ پاسخهای اشتباه یا همان «توهم» است. روشهای فعلی برای اندازهگیری عدم قطعیت مدل، معمولاً فقط شباهت معنایی را میسنجند و روابط منطقی بین پاسخها را نادیده میگیرند.
محققان در مقاله جدیدی، چارچوب نوآورانهای به نام LGU (Logical Graph Uncertainty) را معرفی کردهاند که با مدلسازی روابط منطقی (مانند استلزام و ناسازگاری) بین پاسخهای مختلف، دقت مدل را در تشخیص ابهام و جلوگیری از توهم بهطور چشمگیری بهبود میبخشد.
این روش توانسته در بنچمارکهای مختلف، تا ۷ درصد عملکرد بهتری نسبت به روشهای سنتی داشته باشد که خبر بسیار خوبی برای توسعهدهندگان سیستمهای حساس و قابلاعتماد است! 📈✨
منبع: arXiv AI