حتماً برای شما هم پیش آمده که مدلهای هوش مصنوعی مثل ChatGPT یا Claude، اطلاعاتی را با اعتماد به نفس بالا اما به غلط ارائه دهند (چیزی که به آن توهم یا Hallucination میگوییم).
محققان در یک تحقیق جدید، دلیل این اتفاق در سیستمهای RAG (بازیابی اطلاعات) را بررسی کردند. آنها متوجه شدند که گاهی دانش درونیِ خودِ مدل، با اطلاعاتِ درستی که از منابع بیرونی (Retrieval) دریافت میکند تداخل دارد. روش جدید «ParamMute» با شناسایی و غیرفعال کردن بخشهایی از شبکه عصبی مدل (FFNها) که باعث این تداخل میشوند، دقت پاسخها را به شدت بالا میبرد.
این یعنی در آینده مدلهای زبانی یاد میگیرند که بیشتر به واقعیتهای جستجو شده تکیه کنند تا به حافظهی درونیِ گاهی غلط خودشان!
منبع: arXiv NLP
