محققان به تازگی کشف کردهاند که بسیاری از بنچمارکهای تشخیص دادههای خارج از توزیع (OOD) دچار «نشت داده» هستند. این یعنی مدلها قبلاً در زمان آموزش با این دادهها مواجه شدهاند و به همین دلیل عملکرد آنها در تستها بهطور کاذب بالا گزارش میشود.
این تیم تحقیقاتی با معرفی یک «اثر انگشت نشت» (Leak Fingerprint)، ابزاری برای شناسایی این تقلب ناخواسته ارائه کردهاند که میتواند دقت ارزیابی مدلها را به شدت بهبود بخشد. این یافته تلنگری برای جامعه هوش مصنوعی است تا پروتکلهای تست مدل را جدیتر بگیرند! 🧠🛡️
منبع: arXiv Machine Learning