محققان در یک پیشرفت جدید، چارچوبی به نام CADENCE را معرفی کردهاند که مشکل اصلی «تقطیر دانش» (Knowledge Distillation) از مدلهای بزرگ به مدلهای کوچکتر را هدف گرفته است.
مدلهای کوچک معمولاً در استدلال دچار «سقوط در شروع» یا پراکندگی پاداش میشوند، اما CADENCE با استفاده از مکانیزم هوشمند DRIFT و شش جزء نوآورانه، به مدلهای جمعوجور (مثل مدل ۰.۵ میلیاردی) کمک میکند تا با دقت بسیار بالا، استدلالهای مدلهای قدرتمندتر را یاد بگیرند.
این یعنی در آیندهای نزدیک، مدلهای کوچکتر و سریعتر روی دستگاههای شخصی، هوشمندیِ مدلهای غولآسا را خواهند داشت. این یک گام کلیدی برای بهینهسازی و اقتصادیتر کردن هوش مصنوعی است! 🚀
منبع: arXiv AI