تا حالا فکر کردید که یک مدل زبانی (LLM) موقع بازی کردن، واقعاً چی توی سرش میگذره؟ آیا فقط بلوف میزنه یا واقعاً بازی رو تحلیل کرده؟
محققان ابزار جدیدی به نام «MafiaScope» طراحی کردند که بازی معروف «مافیا» رو به یک آزمایشگاه دقیق برای بررسی «نظریه ذهن» (Theory of Mind) در هوش مصنوعی تبدیل کرده. این سیستم با پرسشهای ساختاریافته در حین بازی، بررسی میکنه که آیا تصمیمهای مدل از روی استدلال منطقی بوده یا فقط یک حدس شانسی!
نتایج جالبی هم به دست اومده؛ مثلاً مدلها معمولاً اعتمادبهنفس کاذب دارن و توی درک شرایط محیطی گاهی دچار خطاهای جالبی میشن. این ابزار کمک میکنه بفهمیم چرا هوش مصنوعی در شرایط پیچیده اجتماعی رفتار خاصی رو نشون میده. 🤖🎲
منبع: arXiv NLP