محققان در مقاله جدیدی به سراغ رفع یکی از چالشهای اصلی مدلهای CLIP رفتهاند. مدلهای CLIP معمولاً با استفاده از لایههای Softmax معمولی، روی بخشهای غیرضروری تصویر هم تمرکز میکنند که باعث ایجاد نویز و کاهش دقت در تحلیلهای دقیق (Dense Prediction) میشود.
💡 نوآوری این پژوهش، استفاده از تبدیل «alpha-entmax» به جای Softmax است. این روش با حذف «توجه» روی جزئیات غیرمهم، عملاً مانند یک فیلتر نویز عمل کرده و تمرکز مدل را فقط روی بخشهای کلیدی تصویر میگذارد. نتیجه؟ بهبود چشمگیر در کارهایی مثل بخشبندی معنایی (Semantic Segmentation) و بازیابی تصاویر با جزئیات بالا.
این یعنی مدلهای بینایی ماشین ما در آیندهای نزدیک، جزئیات را بسیار دقیقتر از قبل «میبینند»! 🤖✨
منبع: arXiv Computer Vision