محققان در یک مطالعه جدید به سراغ چالش «استدلال ریاضی» در مدلهای زبانی بزرگ (LLM) رفتهاند. نتایج نشان میدهد که این مدلها بهشدت نسبت به نحوه بیان سوال (مثلاً تغییر از صورت مسئله داستانی به معادله نمادین) حساس هستند و با تغییرات جزئی در متن، ممکن است دچار خطا شوند!
نکته جالب اینجاست که حتی وقتی مدلها را مجبور میکنیم با نوشتن کد پایتون به پاسخ برسند (اجرای استدلال)، باز هم تضمینی برای حل دقیق مسائل وجود ندارد و خطاها فقط از شکلی به شکل دیگر تغییر میکنند. این تحقیق نشان میدهد که راه زیادی تا رسیدن به «استدلال منطقیِ پایدار» در هوش مصنوعی باقی مانده است. 📉🤖
منبع: arXiv AI