🤖 چرا هوش مصنوعی گاهی توهم می‌زند؟ آشنایی با «مشکل جدایی» (Severance Problem)

⚠️ هشدار به محققان: چرا دقت مدل‌های شناسایی پهپاد گاهی «واقعی» نیست؟

تا حالا دقت کردید که چت‌بات‌های هوشمند گاهی با اعتماد‌به‌نفس کامل اطلاعات غلط می‌دهند یا توصیه‌های عجیبی می‌کنند؟ محققان در یک مقاله جدید به ریشه این رفتار پی برده‌اند: مدل‌های زبانی درکی از «شخص پشت پرده» ندارند و نمی‌دانند چه چیزهایی را درباره کاربر نمی‌دانند!

این مشکل که «Severance Problem» نام‌گذاری شده، باعث می‌شود مدل‌ها به‌جای اعتراف به ندانستن، به حدس و گمان‌های اشتباه روی بیاورند. راهکار جدیدی به نام «Severance Schema» پیشنهاد شده که به هوش مصنوعی یاد می‌دهد ساختار نادانی خود را بشناسد؛ یعنی مدل قبل از پاسخ دادن، محدودیت‌های اطلاعاتی‌اش درباره شرایط فیزیکی، زمانی و حتی اولویت‌های شخصی کاربر را در نظر می‌گیرد.

نتیجه این کار؟ کاهش چشمگیر توهمات (Hallucinations) و پاسخ‌های امن‌تر و دقیق‌تر برای ما کاربران! ✨

منبع: arXiv NLP