محققان در مقاله جدیدی به سراغ یکی از چالشهای اصلی در یادگیری مداوم (Continual Learning) رفتند: «انعطافپذیری» مدلها. تا به امروز معیارهای دقیقی برای اینکه بفهمیم یک شبکه عصبی چقدر توانایی یادگیری مهارتهای جدید را بدون فراموش کردن دانش قبلی دارد، وجود نداشت.
حالا با معرفی شاخصی به نام «Local Redundancy» (افزونگی محلی) که ریشه در نظریه فشردهسازی دارد، دانشمندان توانستهاند راهی علمی برای پیشبینی عملکرد مدل در وظایف آینده پیدا کنند. این روش نه تنها دقیقتر از معیارهای قدیمی عمل میکند، بلکه به متخصصان اجازه میدهد بهترین زمان برای پایان پیشآموزش (Pretraining) و انتقال به مرحله بعد را هوشمندانهتر تشخیص دهند.
این یعنی بهینهسازی دقیقتر و یادگیری موثرتر برای مدلهای نسل آینده! 🚀
منبع: arXiv Machine Learning