آیا مدلهای زبانی واقعاً میتوانند جزئیات را «بهخاطر بسپارند»؟ محققان بهتازگی بنچمارک جدیدی به نام LMEB را برای ارزیابی توانایی مدلها در بازیابی اطلاعاتِ «دیرپا و طولانیمدت» (Long-horizon Memory) معرفی کردهاند.
نکات کلیدی این پژوهش:
🔍 این بنچمارک شامل ۲۲ مجموعه داده و ۱۹۳ تسک مختلف است که جنبههای اپیزودیک، دیالوگمحور و رویهای حافظه را بررسی میکند.
📊 نتایج نشان میدهد که مدلهای بزرگتر همیشه در یادآوری اطلاعات دقیقتر نیستند!
🧠 این تحقیق ثابت میکند که عملکرد خوب در جستجوی متون ساده، لزوماً به معنای توانایی مدل در حفظ حافظه بلندمدت نیست.
این بنچمارک گام مهمی است تا بفهمیم چطور میتوانیم سیستمهای هوشمند با حافظهای شبیهتر به انسان بسازیم.
منبع: arXiv NLP