محققان در یک مقاله جدید، راهکار جذابی برای «باکسبسته» (Closed-Book) کردن مدلهای زبانی ارائه دادهاند. بهجای استفاده از سیستمهای پیچیده RAG، آنها موفق شدند دانش اختصاصی را مستقیماً با استفاده از LoRA درون وزنهای مدل Gemma تزریق کنند.
نکته کلیدی تحقیق این است که کیفیت دادههای آموزشی بسیار مهمتر از ظرفیت (Rank) یا نرخ یادگیری است. در واقع با یک آمادهسازی درست، دقت پاسخگویی مدل به طرز چشمگیری بالا میرود و حتی میتواند از سیستمهای سنتی بازیابی اطلاعات (مثل BM25) پیشی بگیرد. این یعنی آیندهای که مدلها بدون نیاز به جستجوی آنلاین، اطلاعات تخصصی را «در حافظه خود» دارند! 🚀
منبع: arXiv AI