بسیاری از ما برای اجرای مدلهای هوش مصنوعی روی سیستمهای معمولی، از روش «کوانتایز کردن» استفاده میکنیم تا حجم مدل کم شود. اما تحقیقات جدیدی که در arXiv منتشر شده، نشان میدهد که این کار همیشه بیخطر نیست!
نکات کلیدی این پژوهش:
🔹 مشکل بزرگ: متریکهای فعلی مثل دقت (Accuracy) به تنهایی کافی نیستند. یک مدل فشرده ممکن است همان سطح دقت مدل اصلی را نشان دهد، اما در عمل، نوع تصمیمگیری و «رفتار» آن تغییر میکند!
🔹 توهم برابری: محققان متوجه شدند که حتی با فشردهسازیهای ملایم، مدل رفتاری متفاوت از نسخه اصلی پیدا میکند.
🔹 کدام بخش حساستر است؟ لایههای مربوط به Query و Key در مکانیزم توجه (Attention) بسیار حساستر از لایههای Output هستند و با فشردهسازی سریعتر دچار خطا میشوند.
نتیجهگیری؟ باید فراتر از اعداد ساده، به دنبال ارزیابیهای رفتاری برای مدلهای هوش مصنوعی باشیم تا مطمئن شویم مدل در سناریوهای حساس دچار تغییر رفتار ناخواسته نمیشود. 📊
منبع: arXiv AI