محققان به تازگی معیار جدیدی به نام «NEC» یا هزینه مازاد نرمالشده معرفی کردهاند که دیدگاه ما را نسبت به ارزیابی مدلهای طبقهبندی تغییر میدهد.
در بسیاری از کاربردهای حساس مثل تشخیصهای پزشکی یا تعدیل محتوا، اشتباه در تشخیص یک مورد «واضح» بسیار پرهزینهتر از خطای انسانی در موارد «مبهم» است. این تحقیق نشان میدهد که بسیاری از مدلها با وجود نرخ خطای ظاهری، در واقع بخش بزرگی از اشتباهاتشان مربوط به موارد کماهمیت و مبهم است. این چارچوب کمک میکند تا دقت مدلها را نه فقط بر اساس تعداد خطا، بلکه بر اساس «هزینه واقعی» آنها بسنجیم.
این یک قدم مهم برای کاربردیتر کردن مدلهای هوش مصنوعی در دنیای واقعی است! 💡
منبع: arXiv Machine Learning