محققان در پژوهش جدیدی به چالش «اتلاف منابع» در مدلهای زبانی (LLM) پرداختند. آنها متوجه شدند که استفاده از روشهای «توجه پراکنده» (Sparse Attention) در مرحله تولید متن، گاهی باعث کاهش دقت و طولانیتر شدن پردازش میشود؛ پدیدهای که آن را «Lil» نامیدهاند.
راهکار جدید آنها یک الگوریتم توقف زودهنگام (Early-stopping) است که تعادل دقیقی میان سود و زیان اطلاعات برقرار میکند. نتیجه این نوآوری؟ کاهش ۹۰ درصدی مصرف توکنها با افت دقت کمتر از ۲ درصد در بنچمارکهای استدلالی! گامی بزرگ برای سریعتر و بهینهتر کردن هوش مصنوعی.
سازی
منبع: arXiv AI