محققان در یک تحقیق تازه، مفهومی به نام «پایش واقعیت» (Reality Monitoring) را در مدلهای زبانی بزرگ بررسی کردهاند. این پژوهش نشان میدهد که مدلها گاهی در تشخیصِ منشأ اطلاعات دچار سردرگمی میشوند؛ یعنی ممکن است اشتباهات خودشان را به عنوان حقایقِ ارائهشده توسط کاربر بپذیرند!
نتایج این آزمایش روی ۶ مدل مختلف نشان میدهد که با پیچیدهتر شدن مکالمات، تشخیص اینکه یک جمله از کجا آمده (حافظه داخلی یا ورودی کاربر) برای هوش مصنوعی چالشبرانگیز میشود. این یعنی برای توسعه مدلهای خودمختار و پیشرفته در آینده، فقط «دانش» کافی نیست و مدل باید بداند هر اطلاعاتی را از کجا به دست آورده است. قدمی مهم برای کاهش توهم (Hallucination) در هوش مصنوعی! 🤖💡
منبع: arXiv NLP