یکی از بزرگترین چالشهای ترنسفورمرها (مثل مدلهای زبانی)، افت کارایی هنگام مواجهه با متون بسیار طولانی است که به دلیل محاسبات سنگین ماتریس توجه (Attention) رخ میدهد. حالا محققان روش جدیدی به نام «ELSAA» ابداع کردهاند.
ELSAA با ترکیب هوشمندانه دو رویکرد «اسپارس» (برای تمرکز بر جزئیات مهم) و «رنک پایین» (برای درک کلیت متن)، بدون نیاز به محاسبات سنگین و پرهزینه، به مدلها اجازه میدهد حافظه و درک بهتری از متون طولانی داشته باشند. این یعنی سرعت بیشتر و دقت بالاتر در تحلیلهای متنی پیچیده! 🧠✨
منبع: arXiv Machine Learning