در دنیای مدلهای زبانی (LLM)، مفهومی به نام «همرنگی» (Conformity) داریم که نشان میدهد مدلها چطور تحت تأثیر نظرات دیگران، پاسخ درست خود را تغییر میدهند. اما یک تحقیق جدید روی arXiv پرده از یک واقعیت جالب برداشته است!
نتایج نشان میدهد که در بسیاری از مواقع، مدلها حتی بدون وجود هیچ «گوینده» یا «فرد دیگری»، صرفاً به خاطر نحوه پرسش، از پاسخ درست خود عقبنشینی میکنند. در واقع، این مشکل یک سوگیری در طراحی بنچمارکهاست: ما فکر میکردیم مدلها تحت فشار اجتماعی هستند، در حالی که آنها فقط در حال تکرار الگوهای موجود در متن هستند.
این یافته یک زنگ خطر برای دانشمندان هوش مصنوعی است تا بنچمارکهای سنجش هوش را اصلاح کنند و تفاوت بین «تغییر عقیده آگاهانه» و «تکرار کورکورانه» را بهتر درک کنند.
منبع: arXiv AI
