یکی از بزرگترین چالشهای مدلهای زبانی بزرگ (LLM)، کار با متنهای طولانی (Long-Context) است؛ جایی که معمولاً یا دقت مدل کاهش مییابد یا سرعت آن بهشدت کند میشود.
محققان در مقاله جدید خود متد «Jet-Long» را معرفی کردهاند که بدون نیاز به آموزش مجدد (Tuning-free)، به مدل اجازه میدهد با استفاده از یک معماری پویا، روی متنهای بسیار طولانی تا ۱۲۸ هزار توکن به دقت خیرهکنندهای دست پیدا کند.
این روش نه تنها کیفیت پاسخها را در متنهای بلند حفظ میکند، بلکه با بهینهسازی محاسباتی، سرعت پردازش را تا ۱.۳۹ برابر افزایش داده است. این یعنی مدلهای آینده میتوانند کتابها یا کدهای بسیار طولانی را در کسری از ثانیه و با دقت بالا تحلیل کنند! 📈💻
منبع: arXiv Machine Learning
