محققان در یک مطالعه جدید به سراغ پاسخ به این سوال رفتهاند که وقتی مدلهای زبانی بزرگ (LLM) در حال فکر کردن و حل مسائل پیچیده هستند، دقیقاً چه اتفاقی در لایههای پنهان آنها میافتد؟
آنها با معرفی مفهوم «Fluid Reasoning Representations» (FRRs)، نشان دادند که مدلها حین استدلال، مفاهیم را سازماندهی کرده و با پیشرفت در مراحل تفکر، بازنماییهای دقیقتر و مشابهی برای مفاهیم انتزاعی ایجاد میکنند. این دستاورد به ما کمک میکند بفهمیم چرا مدلهای «Extended-Thinking» در حل مسائل ریاضی و منطقی عملکرد بهتری دارند و چگونه میتوان با دستکاری این بازنماییها، دقت هوش مصنوعی را ارتقا داد. 💡
کد این تحقیق برای علاقهمندان به معماریهای مدلهای زبانی منتشر شده است.
منبع: arXiv AI