🧠 چالش بزرگ مدل‌های زبانی: وقتی هوش مصنوعی در استدلال ریاضی شکست می‌خورد!

دانشمندان در پژوهشی تازه روی تعامل مدل‌های زبانی (مثل Llama 3.3 و gpt-oss) با مفاهیم ریاضیِ تایید شده در زبان Lean، به یافته‌های جالبی رسیدند. 📐

نکته کلیدی این تحقیق این است که مدل‌ها در «مسیریابی مکانیسم‌های اثبات» (Routing) دچار ضعف‌های ساختاری هستند. در واقع، وقتی مدل‌ها بدون راهنمایی (Blind) سعی می‌کنند ساختارهای پیچیده ریاضی را تحلیل کنند، نرخ خطای بالایی دارند؛ اما به محض اینکه «سرنخ‌های تاییدیه» به آن‌ها داده می‌شود، دقت آن‌ها تا ۱۳ درصد افزایش می‌یابد.

این یعنی هوش مصنوعی در درک «حقیقت» خوب عمل می‌کند، اما هنوز در طبقه‌بندی دقیق روش‌های اثبات ریاضی دچار سردرگمی است. این تفاوت نشان می‌دهد که «استدلال منطقی» و «انتخاب مسیر اثبات» دو توانایی کاملاً مجزا در مدل‌های زبانی هستند که باید بیشتر روی آن‌ها کار شود. 🔍✨

منبع: arXiv NLP