آیا تا به حال به این فکر کردید که مدلهای هوش مصنوعی در آزمونها تقلب میکنند؟ محققان در مطالعه جدیدی به یک مشکل بزرگ در دنیای AI پی بردند: «آلودگی دادههای بنچمارک».
خلاصه این تحقیق نشان میدهد ابزارهایی که برای تشخیص تقلب مدلها (اینکه آیا سوالات آزمون قبلاً در دادههای آموزشی بوده یا خیر) استفاده میشوند، در محیطهای واقعی چندان دقیق نیستند! این یعنی مدلهای هوش مصنوعی ممکن است در آزمونها نمره قبولی بگیرند، اما در واقعیت مهارت لازم را نداشته باشند.
این تحقیق با بررسی ۲۵ مدل مختلف ثابت کرد که روشهای فعلی تشخیص آلودگی دادهها دچار خطاهای زیادی هستند و نیاز به استانداردهای دقیقتری برای ارزیابی «هوش واقعی» مدلها داریم. 🧠📉
منبع: arXiv AI
