محققان در مقاله جدیدی روشی هوشمندانه به نام «ShortOPD» معرفی کردهاند که به حل مشکلِ افت کیفیت مدلهای زبانی (LLM) بعد از فشردهسازی (Pruning) کمک میکند.
مشکل اینجاست که وقتی مدلها را برای اجرا روی سختافزارهای ضعیفتر کوچک میکنیم، اغلب در تولید متنهای آزاد دچار تکرار و افت عملکرد میشوند. این متد جدید با استفاده از یک رویکرد «کوتاه به طولانی» در فرآیند تقطیر (Distillation)، به مدل یاد میدهد که چطور به جای تولید متنهای تکراری و بیهوده، روی محتوای مفید تمرکز کند.
نتایج نشان میدهد که مدلهای فشردهشده با این روش، تا ۴ برابر بهتر از روشهای سنتی عمل میکنند و در حوزههای ریاضی و کدنویسی به عملکردی نزدیک به مدلهای اصلی میرسند.
منبع: arXiv AI