محققان در مقاله جدیدی، مکانیزم نوآورانهای به نام «Threshold Differential Attention» یا به اختصار TDA را معرفی کردند که مشکل قدیمی «توجه» (Attention) در مدلهای زبانی را حل میکند.
مشکل کجاست؟ در مدلهای فعلی، با طولانی شدن متن، تمرکز مدل پخش شده و نویزها باعث کاهش کارایی میشوند. اما TDA با استفاده از یک فیلتر هوشمند، فقط اطلاعات کلیدی و مهم را نگه میدارد (بیش از ۹۹٪ خروجیها را صفر میکند!) که نتیجه آن افزایش چشمگیر سرعت و دقت در پردازش متنهای طولانی است.
این یعنی مدلهای هوش مصنوعی در آینده، با حافظه و دقت بسیار بیشتری میتوانند کتابها و مستندات طولانی را بدون گیج شدن درک کنند. 🧠✨
منبع: arXiv Machine Learning