یکی از چالشهای بزرگ در یادگیری مدلهای بینایی-زبانی (VLM)، کمبود دادههای برچسبگذاری شده است. محققان به تازگی روش جدیدی به نام HopS (مخفف Holistic Optimal Label Selection) معرفی کردهاند که به مدلها کمک میکند حتی با برچسبهای ناقص و مبهم، عملکرد بسیار دقیقتری داشته باشند.
این روش با دو استراتژی هوشمندانه، یعنی فیلتر کردن محلی بر اساس چگالی و بهینهسازی سراسری با استفاده از «حملونقل بهینه» (Optimal Transport)، باعث میشود مدل دقیقاً بداند کدام برچسب برای هر داده مناسبتر است. این یعنی پیشرفت چشمگیر در کاربردهای یادگیری ضعیفنظارتشده (Weakly Supervised)!
منبع: arXiv Computer Vision