یکی از بزرگترین چالشهای هوش مصنوعی، محدودیت در پردازش متون بسیار طولانی و هزینه محاسباتی بالای مدلهای فعلی است. حالا محققان با معرفی روش نوآورانه “HiLS-Attention” (Hierarchical Landmark Sparse)، این مانع را کنار زدهاند!
این روش با استفاده از مکانیسم «توجه سلسلهمراتبی» و یادگیری انتخابِ بخشهای مهم متن، امکان تحلیل متون بسیار طولانی را با دقت فوقالعاده فراهم میکند. جالب اینجاست که این مدل میتواند تا ۶۴ برابر طولِ آموزش خود را پردازش کند و حتی مدلهای قدیمیتر را هم با یک آموزش کوتاه به این قابلیت مجهز کرد. این یعنی راه برای ساخت مدلهایی با «حافظه بینهایت» هموارتر شده است! 🧠✨
منبع: arXiv AI