همانطور که میدانید، اجرای مدلهای حجیم هوش مصنوعی روی سختافزارهای ضعیف (مثل تجهیزات بیمارستانی یا اینترنت اشیاء) یکی از چالشهای اصلی دنیای امروز است.
محققان در مقاله اخیر خود با معرفی متد جدید SPRKD (مخفف Saddle Point Recruitment for Knowledge Distillation)، روشهای سنتیِ «تقطیر دانش» (Knowledge Distillation) را به چالش کشیدهاند. این روش به جای کپیبرداری ساده از خروجی مدل معلم، از هندسهِ فضای مدل (مشخصههای Hessian و Saddle Points) استفاده میکند تا دانش را به شکل بسیار بهینهتری به مدلهای کوچکتر منتقل کند.
نتیجه؟ یک مدل ۶ هزار پارامتری با دقت خیرهکننده ۹۴.۸٪ در تشخیص تصاویر پزشکی، که نشان میدهد میتوان بدون قربانی کردن دقت، مدلهای فوقسبک و کاربردی برای دنیای واقعی ساخت. 📉🔬
منبع: arXiv Machine Learning