🧠 آیا هوش مصنوعی می‌داند چه چیزی را نمی‌داند؟

⚠️ هشدار به محققان: چرا دقت مدل‌های شناسایی پهپاد گاهی «واقعی» نیست؟

محققان در یک پژوهش جدید روی مدل‌های زبانی Bielik، راهکار جالبی برای شناسایی «توهم» (Hallucination) در مدل‌های هوش مصنوعی پیدا کرده‌اند.

این مطالعه نشان می‌دهد که قبل از اینکه مدل حتی پاسخی تولید کند، می‌توان از روی نحوه فعال‌سازی نورون‌ها در لایه‌های مدل (Activation Dispersion)، متوجه شد که آیا مدل با آن موضوع آشنایی دارد یا در حال حدس زدن (و احتمالا توهم) است. این یعنی می‌توان تفاوت بین یک واقعیت و یک ساختگی را با دقت بسیار بالا (تا ۹۹ درصد) پیش از پاسخ نهایی تشخیص داد. این دستاورد می‌تواند گام بزرگی برای کاهش خطاهای مدل‌های زبانی باشد. 🚀

منبع: arXiv Machine Learning