محققان در مقاله جدیدی روشی به نام FAST (Finetuning-aligned Sequential Training) را برای آموزش «خودرمزگذارهای تنک» (SAE) معرفی کردهاند که تحولی در تفسیرپذیری مدلهای زبانی ایجاد میکند. 🧠
تا پیش از این، روشهای آموزشی سنتی به دلیل نویزِ گرادیان، باعث افت دقت در مدلهای دستورمحور (Instruct Models) میشدند. اما حالا FAST با تراز کردن آموزش با توزیع دادهها، نتایج شگفتانگیزی رقم زده است:
✅ بهبود چشمگیر در کیفیت بازسازی ویژگیها
✅ کاهش محسوس خطا (MSE) نسبت به روشهای قبلی
✅ افزایش بیش از ۲۰ درصدی ویژگیهای باکیفیت در مدل Llama-3.2
این یعنی هوش مصنوعی حالا میتواند با دقت بسیار بالاتری محتوای درونی خود را تحلیل و تفسیر کند. کدها نیز برای بررسی بیشتر در گیتهاب قرار گرفتهاند.
🔗 لینک پروژه: https://github.com/Geaming2002/FAST
منبع: arXiv Machine Learning