محققان در مطالعهای جدید به یک ضعف اساسی در مکانیزم Softmax توجه (Attention) پی بردهاند: اینکه مدلها گاهی اطلاعات ساختاری مهم را در حین وزندهی به ورودیها از دست میدهند.
آنها برای حل این چالش، متد جدید «Mass-Aware Attention» یا بهاختصار MAA را معرفی کردهاند. این روش بدون نیاز به پارامترهای اضافه یا تغییرات پیچیده، به مدل اجازه میدهد با استفاده از یک نرمسازی هوشمندانه (Lp family)، حجم و تعداد ورودیهای اثرگذار را بهتر درک کند.
نتیجه این نوآوری، بهبود چشمگیر عملکرد در مدلهای گراف پویا، تحلیلهای زمانی (Time-series) و حتی سیستمهای RAG بوده است. گامی موثر برای رسیدن به مدلهایی با دقت بالاتر و حافظه دقیقتر! 🧠✨
های_زبانی
منبع: arXiv Machine Learning