محققان در مطالعه جدید خود به چالش جالبی در دنیای LLMها پرداختهاند: «امتناع از پاسخدهی». آیا مدل میداند سوالی که از او پرسیده شده اساساً منطقی است یا خیر؟
بررسیها نشان میدهد که هوش مصنوعی بین «عدم پاسخگویی به سوالات غلط» و «پاسخهای اشتباه به سوالات درست» تفاوت قائل نمیشود. در حالی که مدلها در تشخیص پاسخ درست تا حدی قابل اعتمادند، اما در مواجهه با سوالاتی که پیشفرضهای غلط دارند (مثلاً سوالی که بر پایه یک باور نادرست بنا شده)، دچار «نقطه کور» میشوند.
خبر خوب اینجاست که دانشمندان راهکاری برای این مشکل پیدا کردهاند! آنها با استفاده از تکنیک «کاوشگر در حالات پنهان» (Hidden-state probe)، موفق شدند به مدلها کمک کنند تا قبل از پاسخ دادن، اعتبار سوال را بررسی کرده و از پاسخ به پرسشهای فریبنده یا نامعتبر خودداری کنند. این پیشرفت میتواند دقت و قابلیت اعتماد مدلهای زبانی را در آیندهای نزدیک به شکل چشمگیری افزایش دهد. 🚀
منبع: arXiv NLP
