دانشمندان حوزه هوش مصنوعی بهتازگی روش جدیدی به نام SODA را معرفی کردهاند که مشکل همیشگی «تقطیر دانش» در مدلهای زبانی را حل میکند. تا امروز، روشهای استاندارد یا دقت کمی داشتند یا به دلیل محاسبات سنگین، بسیار کند و هزینهبر بودند.
💡 چرا SODA خاص است؟
این روش با بهرهگیری از شکاف توانمندی بین مدلهای بزرگ (معلم) و مدلهای کوچک (دانشجو)، بدون نیاز به فرآیندهای پرهزینه و پیچیده، مدلهای کوچک را برای عملکرد در سطح مدلهای بزرگ بهینه میکند.
نتایج نشان میدهد که SODA نه تنها در ۱۵ از ۱۶ معیار، عملکردی فراتر از روشهای فعلی داشته، بلکه ۱۰ برابر سریعتر آموزش میبیند و ۲۷٪ انرژی کمتری مصرف میکند! این خبر فوقالعادهای برای توسعهدهندگانی است که به دنبال اجرای مدلهای قدرتمند روی سختافزارهای محدود هستند. 💻✨
منبع: arXiv Machine Learning