محققان در مقاله جدیدی، روشی نوآورانه به نام CoCaRS را معرفی کردهاند که فرآیند «تقطیر دانش» (Knowledge Distillation) را در مدلهای ناهمگون (Heterogeneous) بهینهتر میکند.
مشکل اصلی در مدلهای ناهمگون، اختلاف ساختاری بین مدل معلم و شاگرد است که باعث میشود دانش به درستی منتقل نشود. متد CoCaRS با استفاده از تکنیکهای «تخمین خطای سردرگمی» (CEE) و «کنترل تخصیص قدرت» (SAC)، اطلاعات ساختاری مهم را بهتر حفظ کرده و از افزونگیهای بیمورد جلوگیری میکند. این یعنی مدلهای کوچکتر در آینده میتوانند بسیار هوشمندتر از قبل عمل کنند! 🧠✨
منبع: arXiv AI