آیا تا به حال فکر کردهاید که وقتی مدلهای بزرگ (مثل GPT) را فشرده میکنیم، چه اطلاعات مهمی از دست میروند؟ محققان در پژوهش جدید خود، روشی به نام «Decoder-Preserving Sparse Autoencoders» (به اختصار DPSAE) را معرفی کردهاند که انقلابی در نحوه فشردهسازی فعالسازیهای عصبی ایجاد میکند.
این روش جدید تضمین میکند که حتی پس از فشردهسازی (Sparse Compression)، قابلیتهای مهم و پیشبینیهای مدل حفظ شوند. تستهای انجام شده روی مدل GPT-2 نشان میدهد که DPSAE با حفظ کیفیت بازسازی دادهها، عملکرد مدل در وظایف مختلف را به شکل چشمگیری بهبود میبخشد.
این دستاورد گام بزرگی برای ساخت مدلهای سبکتر، هوشمندتر و البته تفسیرپذیرتر است که به دانشمندان کمک میکند بهتر بفهمند در «جعبه سیاه» هوش مصنوعی چه میگذرد! 🧠✨
منبع: arXiv Machine Learning