آیا مدلهای زبانی واقعاً مفاهیم را درک میکنند؟ برای فهمیدن این موضوع، محققان از «اتوانکودرهای پراکنده» (SAE) استفاده میکنند تا ویژگیهای درونی مدل را بیرون بکشند. اما یک یافته جدید نشان میدهد که ما در تنظیم یک پارامتر کلیدی به نام L0 (میزان فعالسازی ویژگیها) دچار اشتباه هستیم!
محققان در مقاله جدیدی ثابت کردهاند که:
❌ اگر L0 خیلی کم باشد، مدل ویژگیها را ترکیب میکند تا خطا را کاهش دهد.
❌ اگر L0 خیلی زیاد باشد، با راهحلهای پوچ و غیردقیق روبرو میشویم.
نتیجه اینکه: اکثر SAEهای فعلی با تنظیمات اشتباه ساخته شدهاند و نیاز به بازنگری دارند تا بتوانیم به ویژگیهای «تکمعنایی» و قابلفهم واقعی برسیم. این یک گام مهم برای شفافسازی جعبهسیاه هوش مصنوعی است. 🧠💡
منبع: arXiv AI