حتماً شنیدهاید که مدلهای زبانی مثل GPT با استفاده از «زنجیره تفکر» (Chain-of-Thought) مرحلهبهمرحله فکر میکنند. اما آیا این استدلالها واقعاً دلیل رسیدن مدل به جواب هستند یا فقط نمایشی برای قانع کردن ما؟
محققان در یک مقاله جدید و بسیار مهم، دو نکته کلیدی را کشف کردهاند:
۱. وقتی مدل اشتباه میکند، استدلالهایش معمولاً بیاعتبار (غیروفادار) هستند و روشهای فعلی ما برای تشخیص این موضوع عملاً شکست میخورند! 📉
۲. تشخیص اینکه مدل در حال «دروغ گفتن» یا «استدلال کاذب» است، وقتی پاسخ نهایی مدل درست باشد، کمی آسانتر از وقتی است که پاسخ غلط میدهد.
این تحقیق نشان میدهد که برای ساخت هوش مصنوعی قابلاعتمادتر، هنوز راه درازی در پیش داریم و نباید چشمبسته به منطقِ مرحلهبهمرحله مدلها اعتماد کرد. 🤖⚠️
منبع: arXiv NLP