محققان در یک مطالعه ریاضیاتی جدید، پرده از حقیقتی تکاندهنده درباره امنیت «هوش مصنوعی عمومی» یا همان AGI برداشتهاند. بر اساس این تحقیق، تاییدِ ۱۰۰٪ ایمن بودن یک سیستمِ خوداصلاحگر (Self-modifying) عملاً غیرممکن است.
تیم پژوهشی نشان دادهاند که ما با یک «سهگانه بنبست» روبرو هستیم: نمیتوان سیستمی داشت که همزمان «صحیح»، «کامل» و «کارآمد» باشد. به عبارت سادهتر، هر چه یک هوش مصنوعی عمومیتر و هوشمندتر شود، غیرقابلپیشبینیتر شده و امکان تضمینِ امنیت کامل آن به دلیل محدودیتهای منطقی (مثل قضیه گودل و تراختنبروت) وجود ندارد.
این مقاله زنگ خطری جدی برای متولیانِ ساخت AGI است؛ چرا که ثابت میکند نظارتِ انسانی بر سیستمهایِ فوقهوشمند، خود نیازمندِ یک هوشِ مشابه است و این چرخه هرگز پایان نمییابد. نظر شما چیست؟ آیا هوش مصنوعی در نهایت قابل مهار خواهد بود؟
منبع: arXiv AI