🔍 چالشِ پاسخ‌هایِ متغیر: آیا مدل‌های زبانی در موضوعات ذهنی قابل اعتمادند؟

تا حالا دقت کردید که هوش مصنوعی گاهی با تغییرات جزئی در نحوه پرسیدن سوال، نظرش عوض می‌شود؟ یک مقاله علمی جدید با بررسی مدل‌های هوش مصنوعی (مثل مدل‌های دخیل در MMLU) نشان داده که پایداری پاسخ‌های این مدل‌ها به شدت به «نوع سوال» بستگی دارد.

نتایج این تحقیق می‌گوید:
✅ در سوالات عینی و علمی، مدل‌ها ثبات بیشتری دارند.
✅ در سوالات مربوط به عقاید، ارزش‌های سیاسی و نظرات شخصی، مدل‌ها در برابر تغییرات کوچک در صورت‌بندی سوال (Prompt)، بسیار حساس و متزلزل عمل می‌کنند.

این یافته برای محققانی که از AI برای تحلیل نظرسنجی‌ها یا ارزش‌سنجی استفاده می‌کنند، زنگ خطری است که نشان می‌دهد نباید به راحتی به پاسخ‌های مدل‌های زبانی در موضوعاتِ مبتنی بر قضاوتِ انسانی اعتماد کرد.

منبع: arXiv AI