🔍 چالشِ «سازگاری» در مدل‌های زبانی: چرا پاسخ‌های دقیق‌تر، لزوماً بهترین نیستند؟!

محققان در مطالعه‌ای جدید به سراغ بررسی دقت مدل‌های زبانی بزرگ (LLM) رفته‌اند و یک نقص جالب را کشف کرده‌اند. بر اساس اصول احتمالات، مدل‌ها باید در تخمین‌های خود سازگار باشند، اما این پژوهش نشان می‌دهد که LLMها در رعایت این اصول «خودسازگاری» دچار تناقض‌های گسترده هستند. 📉

نکته کلیدی این مقاله، پدیده‌ای به نام «مغالطه کلان» (Macro Fallacy) است. نتایج نشان می‌دهد وقتی از هوش مصنوعی می‌خواهیم موضوعی را به زیرمجموعه‌های دقیق‌تر تقسیم کند و بعد پاسخ‌ها را جمع‌بندی کند، خروجی نهایی به واقعیت نزدیک‌تر است تا زمانی که مستقیماً از او بخواهیم در مورد کل جمعیت نظر دهد! 🧠💡

این یافته می‌تواند مسیر جدیدی برای بهبود «استدلال» و «پرامپت‌نویسی» مدل‌های آینده باز کند.

منبع: arXiv NLP