یکی از چالشهای بزرگ مدلهای زبانی (LLM)، مدیریت متون بسیار طولانی و دقیق ماندن آنهاست. اکثر مدلها از روشی به نام «توجه بلاک-اسپارس» استفاده میکنند که گاهی اطلاعات کلیدی را در انتخابهای سریع نادیده میگیرد.
محققان در مقاله جدیدی، رویکردی به نام «Uncertainty-gated selection» معرفی کردهاند که مثل یک سیستم هوشمند، میزان اطمینان مدل را در انتخاب محتوا میسنجد. اگر مدل در انتخاب اطلاعات دچار تردید باشد، سیستم «Value-of-information router» وارد عمل شده و حجم اطلاعات حفظشده را دو برابر میکند تا پاسخ نهایی با دقت بسیار بالاتری تولید شود.
این نوآوری باعث شده تا مدلهای بزرگی مثل Qwen و Mistral در درک متون طولانی تا حد زیادی به عملکرد مدلهای متراکم (Dense) نزدیک شوند، بدون اینکه سرعت پردازش بهشدت کاهش یابد. آینده مدلهای زبانی با این تکنیکها در حال نزدیکتر شدن به «دقت انسانی» است! 🧠✨
منبع: arXiv Machine Learning
