🔍 آیا منطق مدل‌های زبانی (LLM) واقعاً قابل اعتماد است؟

محققان در پژوهش جدیدی، به سراغ یکی از بزرگترین چالش‌های هوش مصنوعی یعنی «توهمات» و استدلال‌های اشتباه مدل‌های بزرگ رفته‌اند.

آن‌ها فریم‌ورک نوآورانه «GRAPHEVAL» را معرفی کرده‌اند که به جای تکیه بر پاسخ نهایی، مسیر استدلال مدل را به صورت یک گراف تحلیل می‌کند. این روش با معرفی شاخص جدید «GRCS»، می‌تواند به جای «حدس‌های خوش‌شانسانه»، میزان انسجام منطقی و دقت واقعی مدل را بسنجد.

این دستاورد کمک می‌کند تا بفهمیم مدل‌ها کجا واقعاً می‌فهمند و کجا فقط در حال تولید متن‌های غیرمنطقی هستند! 🧠

منبع: arXiv NLP