محققان در یک پژوهش تازه، به شباهت شگفتانگیز عملکرد حافظه در مدلهای زبانی (LLMs) با حافظه اپیزودیک انسان پی بردهاند! این مطالعه نشان میدهد که مدلهای زبانی با پنجرههای متنی بلند، درست مثل مغز انسان از «بازسازی زمینه زمانی» برای یادآوری ترتیب رویدادها استفاده میکنند.
تیم تحقیق با بررسی عملکرد مدلها در به یاد آوردن جزئیات یک رمان کامل، متوجه شدند که یک «هد توجه» (Attention Head) خاص در مدل، وظیفه بازسازی این کدهای زمانی را بر عهده دارد. این دستاورد، دریچهای جدید برای درک بهتر نحوه ذخیرهسازی دادههای زمانی در سیستمهای هوش مصنوعی و شباهت آن به فرآیندهای بیولوژیک باز کرده است. 🚀
منبع: arXiv AI