محققان به تازگی دستاورد جدیدی در زمینه مدلهای زبانی ارائه دادهاند که مشکل «فراموشی» در مدلهای توجه خطی (Linear Attention) را حل میکند. این روش جدید که HOLA نام دارد، از ساختار هیپوکامپ مغز الهام گرفته است.
💡 چرا این خبر مهم است؟
در مدلهای فعلی، وقتی حجم اطلاعات زیاد میشود، مدلهای هوش مصنوعی جزئیات اولیه را فراموش میکنند. HOLA با اضافه کردن یک حافظه جانبی دقیق (مشابه هیپوکامپ)، اجازه میدهد مدل هم ساختارهای کلی را یاد بگیرد و هم اطلاعات کلیدی و دقیق را بدون فراموشی ذخیره کند.
نتایج نشان میدهد که این مدل حتی در طول متنهای طولانی (۳۲ هزار توکن) بسیار دقیقتر از مدلهای قبلی عمل کرده و نرخ خطای یادگیری را به شکل قابل توجهی کاهش داده است. پیشرفتهای اینچنینی ما را به مدلهایی با حافظه طولانیمدت و هوشمندتر نزدیکتر میکند. 🧠✨
منبع: arXiv AI
