تا به حال به این فکر کردهاید که چگونه میتوان دانش چندین مدل تخصصی (Expert) را در یک مدل واحد ادغام کرد بدون اینکه کیفیت کار افت کند؟ محققان بهتازگی چارچوب جدیدی به نام Uni-OPD را معرفی کردهاند که فرآیند «تقطیر» (Distillation) را برای مدلهای زبانی (LLMs) و چندوجهی (MLLMs) بهینه میکند.
این مدل با حل دو مشکل اصلی یعنی «اکتشاف ضعیف دادهها» و «نظارت غیرقابل اعتماد معلم»، از یک استراتژی دوگانه استفاده میکند تا مدل دانشآموز بتواند بهترین عملکرد را داشته باشد. این روش در آزمایشهای گسترده روی ۱۶ معیار مختلف، نتایج خیرهکنندهای از خود نشان داده است.
این پیشرفت میتواند مسیر ما را برای ساخت مدلهای هوش مصنوعیِ سبکتر، سریعتر و دقیقتر هموارتر کند. 🤖✨
منبع: arXiv Machine Learning