مدلهای ترنسفورمر با وجود موفقیتهای خیرهکننده، گاهی در سیستمهای پیشنهاددهنده (Recommendation Systems) عملکرد ضعیفی دارند. محققان متوجه شدند که علت اصلی این مشکل، پدیدهای به نام «فروپاشی توجه و جایگذاری» (Embedding and Attention Collapse) است که به دلیل ماهیت خاص دادههای توصیهگر رخ میدهد.
حالا مدل جدید «SpecFormer» با استفاده از تکنیکهای طیفی (Spectral-Aware)، این مشکل را حل کرده و اجازه میدهد مدلها در عمق بیشتر، عملکرد دقیقتر و مقیاسپذیرتری داشته باشند. این یک قدم رو به جلو برای سیستمهای پیشنهاددهنده هوشمندتر و شخصیسازیشدهتر است! 💡
گر
منبع: arXiv Machine Learning