دانشمندان در پژوهشی جدید به یک نکته نگرانکننده در مدلهای زبانی کوانتایز شده (Quantized LLMs) پی بردهاند: فرآیند فشردهسازی مدلها ممکن است دقت خروجی را حفظ کند، اما «استدلال» مدل را به شکل نامحسوسی تخریب میکند!
🔹 ماجرا چیست؟
تحقیقات نشان میدهد مدلهایی که پس از کوانتایز شدن (مانند استفاده از استاندارد NF4) همچنان جوابهای درستی میدهند، گاهی به جای استدلال منطقی، از مسیرهای میانبر یا نادرست به جواب میرسند (پدیدهای به نام Hollow Convergence).
این یعنی در بسیاری از سناریوها، مدل «شانسی» یا «مکانیکی» جواب میدهد و قدرت منطقیاش به شدت افت کرده، در حالی که نمرات بنچمارک این فاجعه را نشان نمیدهند. این یافته زنگ خطری جدی برای توسعهدهندگانی است که مدلهای فشردهشده را در پروژههای حساس استفاده میکنند. 🤖🔍
منبع: arXiv Machine Learning