مدلهای زبانی بزرگ (LLM) شاید در مباحث عمومی فوقالعاده باشند، اما وقتی نوبت به کارهای تخصصی علمی مثل طبقهبندی آنزیمها میرسد، به مشکل میخورند! محققان بهتازگی بنچمارک جدیدی به نام EC-Reason-Bench را معرفی کردهاند تا بفهمند دقیقاً چه چیزی باعث این «خطای استدلالی» میشود.
نکته جالب اینجاست که این تحقیق نشان میدهد با دسترسی به منابع دانش خارجی (Open-book) بهجای تکیه بر حافظه خود مدل، دقت این هوش مصنوعیها در حوزههای علمی تخصصی به شدت افزایش مییابد. در واقع، دانش مقدم بر استدلال است! 🧠✨
منبع: arXiv Machine Learning