یکی از چالشهای بزرگ در استفاده از مدلهای زبانی، طولانی بودن «زنجیره تفکر» (CoT) است که باعث افزایش هزینه پردازش میشود. اما فشردهسازی این زنجیرهها گاهی باعث میشود مدل، پاسخ نهایی را گم کند یا اصطلاحاً دچار «انحراف پاسخ» (Answer Drift) شود.
محققان به تازگی روش جدیدی به نام SCA (فشردهسازی بخشبندیشده با تراز پاسخ) معرفی کردهاند. این روش هوشمندانه، بخشهای تفکر و پاسخ را از هم جدا میکند؛ به این ترتیب مدل یاد میگیرد بدون تغییر در دقت پاسخ نهایی، حجم پردازش را به شدت کاهش دهد. این یعنی سرعت بیشتر و هزینه کمتر، بدون قربانی کردن کیفیت هوش مصنوعی! 🧠✨
منبع: arXiv AI