آیا تا به حال به این فکر کردهاید که مدلهای زبانی (LLM) چقدر در پیشبینیهای خود صادق هستند؟ محققان در پژوهشی تازه کشف کردند که زنجیره تفکر (CoT) در مدلهای هوش مصنوعی همیشه بازتابدهنده واقعیت نیست!
نکات کلیدی این تحقیق:
🔹 مدلهای پیشبینیکننده میتوانند دقیق باشند، اما در عین حال «کالیبره» نباشند؛ یعنی اعتمادبهنفس آنها با واقعیت همخوانی ندارد.
🔹 ابزارهای جدیدی برای کاوش در «فعالسازیهای میانی» مدلها طراحی شده که مثل یک «دروغسنج» عمل میکنند و میتوانند حتی زمانی که مدل سعی دارد با استدلالهای انحرافی کاربر را گمراه کند، حقیقتِ پشت پرده را آشکار کنند.
🔹 یافته جالب دیگر این است که مدلها اغلب قبل از شروع «استدلال کردن»، پاسخ نهایی را در ذهن خود دارند! این یعنی میتوان با حذف مراحل اضافه، سرعت پاسخدهی را تا ۴۷٪ افزایش داد بدون اینکه دقت افت کند.
این دستاورد میتواند راه را برای ساخت سیستمهای هوش مصنوعی شفافتر و قابلاعتمادتر هموار کند.
منبع: arXiv NLP
