یکی از بزرگترین چالشهای مدلهای زبانی (LLMs)، مصرف حافظه و هزینه بالای پردازش برای متنهای بسیار طولانی است. روشهای فعلی معمولاً جملات مهم را انتخاب میکنند که باعث میشود موضوعات فرعی اما حیاتی نادیده گرفته شوند.
محققان در مقاله جدیدی، فریمورک SALT را معرفی کردهاند که با سازماندهی هوشمند کلمات کلیدی در یک ساختار درختی (Trie)، تعادلی عالی بین «موضوعات اصلی» و «موضوعات فرعی» ایجاد میکند.
✅ مزایای SALT:
• مدیریت بهینهتر حافظه و کاهش هزینههای محاسباتی
• حفظ تنوع موضوعی (جلوگیری از حذف اطلاعات مهم)
• سازگاری بالا با سیستمهای چت طولانی بدون نیاز به پردازش مجدد کل متن
این نوآوری میتواند گام بزرگی برای اجرای روانتر مدلهای غولآسا روی سختافزارهای محدود باشد.
منبع: arXiv AI