محققان در مقالهای جدید از مدلهای Looped Language Models (LoopLM) رونمایی کردهاند که به جای تکیه صرف بر متنهای «زنجیره فکر» (CoT)، استدلال را مستقیماً در مرحله پیشآموزش (Pre-training) مدل نهادینه میکنند.
💡 چرا این خبر مهم است؟
مدل جدیدی به نام Ouro با استفاده از پردازش تکرار شونده در فضای پنهان (Latent Space)، عملکردی خیرهکننده دارد. مدلهای 1.4 و 2.6 میلیارد پارامتری Ouro توانستهاند با مدلهای غولآسای 12 میلیارد پارامتری رقابت کنند. این یعنی راهکاری جدید برای رسیدن به قدرت استدلال بالاتر بدون نیاز به افزایش بیرویه پارامترها!
این تحقیق نشان میدهد که آینده مدلهای زبانی ممکن است به جای اتکا به خروجیهای متنی طولانی، بر قدرت «دستکاری دانش» در لایههای پنهان مدل استوار باشد.
🔗 لینک پروژه: http://ouro-llm.github.io
منبع: arXiv NLP
