یکی از مشکلات بزرگ مدلهای زبانی، تضاد دانش هنگام استفاده از RAG است؛ یعنی جایی که اطلاعات بازیابی شده با دانش قبلی مدل در تضاد قرار میگیرند. محققان با معرفی TokenMem، یک سیستم حافظه سبک ارائه کردهاند که دانش جدید را بدون نیاز به تغییر در پارامترهای اصلی مدل، از طریق یک کانال موازی تزریق میکند.
نتایج آزمایشها روی مدلهای معروفی مثل LLaMA 3.1 و Qwen نشان میدهد که این روش دقت مدل در پایبندی به دانش صحیح را تا حد قابل توجهی نسبت به RAG معمولی افزایش میدهد. قدمی بزرگ برای کاهش توهم (Hallucination) و افزایش دقت مدلهای هوش مصنوعی! 🚀
منبع: arXiv Machine Learning