همزمان با پیشرفت عوامل خودمختار (Autonomous Agents) و نقشآفرینی آنها در دنیای واقعی، سوال مهمی مطرح شده: چطور میتوانیم به یک هوش مصنوعیِ ناشناس اعتماد کنیم؟
در مدلهای سنتی، ما از سیستمهایی مثل «اعتبارسنجی هویت» یا «امتیاز اعتباری» استفاده میکنیم، اما مقاله جدید پژوهشگران نشان میدهد که این روشها برای هوش مصنوعی شکست میخورند!
💡 چرا اعتماد به AI دشوار است؟
پژوهشگران معتقدند ماهیت عوامل هوش مصنوعی «گسستیافته» (Dissociative) است؛ یعنی آنها از اجزای متغیری مثل مدلهای پایه، سیستمهای یادآوری و دستورالعملهای تغییرپذیر تشکیل شدهاند. به همین دلیل:
۱. هویت ثابتی ندارند که مسئولیت رفتارهایشان را بپذیرند.
۲. نسبت به مجازات یا بازخوردِ تنبیهی حساس نیستند.
۳. ساختار آنها مدام تغییر میکند و همین موضوع عملاً «اعتبار» را در دنیای مدلهای عاملمحور غیرممکن میکند.
این تحقیق هشدار میدهد که تا زمانی که به دنبال راهکارهای جدیدی برای «هویتسنجی» عوامل هوش مصنوعی نباشیم، اعتماد به آنها در محیطهای حساس ریسک بسیار بالایی خواهد داشت.
نظر شما چیست؟ آیا میتوان به هوش مصنوعی در نقشهای حساس مدیریتی و اجرایی اعتماد کرد؟
منبع: arXiv AI