مدلهای زبانی بزرگ (LLMs) در مواجهه با متنهای بسیار طولانی، گاهی دچار یک خطای عجیب میشوند: آنها به جای حل مسئله، بخشهای زیادی از متن ورودی را صرفاً کپی میکنند. محققان برای رفع این مشکل، متد جدیدی به نام GEAR معرفی کردهاند.
⚙️ این روش با استفاده از «یادگیری تقویتی آگاه از شواهد»، به مدل یاد میدهد که تفاوت بین اطلاعات کلیدی و متنهای بیربط (Distractor) را تشخیص دهد. نتایج خیرهکننده است؛ GEAR توانسته دقت مدلها را به شکل محسوسی افزایش دهد و نرخ کپیبرداریهای بیهدف را به شدت کاهش دهد.
این پیشرفت گام مهمی برای ارتقای مدلهای زبانی در تحلیل اسناد پیچیده و طولانی است! 💡
منبع: arXiv AI
