مدلهای چندوجهی (VLM) مثل CLIP برای یادگیری پرامپتها با یک چالش بزرگ روبرو هستند: یا دقت بالایی در دادههای آموزشی دارند، یا تعمیمپذیری بهتری روی دادههای جدید. این یعنی یک توازن دشوار بین عملکرد و انعطافپذیری.
محققان در مقاله جدیدی، بهینهساز SAMPLe را معرفی کردهاند که با استفاده از تکنیک «مینیممسازی آگاهی از تیزی» (Sharpness-Aware Minimization)، یادگیری پرامپتها را بهینه میکند. این ابزار کمک میکند مدلها در حین یادگیریِ وظایف جدید، دچار «بیشبرازش» (Overfitting) نشوند و دانش خود را برای دادههای دیده نشده حفظ کنند. این تکنیک روی فریمورکهای معروفی مثل CoOp و MaPLe تست شده و نتایج خیرهکنندهای داشته است.
✅ پیشرفت در آموزش مدلهای هوش مصنوعی همیشه جذاب است، بهویژه وقتی پای بهبود تعمیمپذیری در میان باشد!
منبع: arXiv Computer Vision