محققان در یک پژوهش جدید، بنچمارک جذابی به نام IRC-Bench معرفی کردند که به مدلهای زبانی یاد میدهد چگونه ارجاعات غیرمستقیم در روایتهای خاطرهمحور را درک کنند.
داستان از این قرار است: انسانها وقتی خاطراتشان را تعریف میکنند، معمولاً به جای نام بردن دقیق از افراد یا مکانها، از سرنخهای متنی استفاده میکنند (مثلاً: «همان دوستی که در تابستان با هم به شمال رفتیم»). درک این مفاهیم برای هوش مصنوعی همیشه یک چالش بزرگ بوده است. این بنچمارک با استفاده از بیش از ۲۵ هزار نمونه، توانایی مدلها را در تحلیل این «ارجاعات غیرمستقیم» به چالش میکشد تا گامی بلند در جهت درک عمیقتر زبان انسان و کمک به حوزههایی مثل رواندرمانی و آرشیوهای تاریخی برداشته شود. 📊
منبع: arXiv AI