آیا مدلهای زبانی میتوانند جایگزین سیستمهای جستجوی سنتی شوند؟ محققان در مطالعه جدید خود به سراغ این چالش رفتهاند که چطور مدلها را برای جستجو در ابعاد میلیونی (Million-token) آموزش دهیم.
مشکل اصلی اینجاست که با افزایش حجم اسناد، مدلها دچار «رقیقشدن توجه» (Attention Dilution) میشوند و نمیتوانند مستندات طلایی را در میان انبوهی از دادههای بیارتباط پیدا کنند. این تیم با معرفی مدل سبک و کارآمد «BlockSearch»، روشی خلاقانه برای مدیریت این مشکل ارائه داده که در مقیاسهای بزرگ، عملکردی مشابه مدلهای جستجوی سنگین اما با سرعتی بسیار بالاتر دارد! 🚀
این پیشرفت یعنی در آینده نزدیک، مدلهای هوش مصنوعی ما به جای تکیه بر ابزارهای جانبی، خودشان جستجوگرهای فوقهوشمندی خواهند بود. 🧠✨
منبع: arXiv NLP
