محققان در یک پژوهش جدید، بنچمارک جذابی به نام IsoSci معرفی کردهاند که پرده از یک حقیقت مهم برمیدارد: بسیاری از مدلهای هوش مصنوعی که فکر میکنیم در حال «استدلال» (Reasoning) هستند، در واقع فقط در حال بازیابی دانشِ حفظ شده از حافظهشان هستند!
نتایج این تحقیق نشان میدهد که بیش از ۹۱ درصد از پیشرفتهای مدلها در حل مسائل علمی، نه به خاطر قدرت استدلال، بلکه به دلیل تکیه بر اطلاعات ذخیرهشده است. این یعنی حتی مدلهای پیشرفتهای که در آزمونهای دشوار موفق عمل میکنند، اگر با مسائل جدیدی با ساختار منطقی مشابه اما در حوزههای ناشناخته مواجه شوند، ممکن است عملکرد ضعیفی داشته باشند.
این یافته یک چالش جدی برای آینده توسعه هوش مصنوعی است و به ما یادآوری میکند که هنوز تا رسیدن به «استدلال واقعی» در مدلها فاصله داریم. 🤖✨
منبع: arXiv AI
