آیا تا به حال به این فکر کردهاید که اگر یک هوش مصنوعی در طول زمان تغییر کند و مهارتهای جدیدی یاد بگیرد، آیا اختیاراتی که قبلاً به او دادهایم همچنان امن هستند؟
مقاله پژوهشی جدیدی با عنوان «Are You Still the Agent I Authorized?» به این چالش مهم پرداخته است. ایجنتهای هوشمند امروزی مدام در حال تکامل هستند، یاد میگیرند، ابزارهای جدید استفاده میکنند و وظایف خود را تغییر میدهند. این مسئله باعث میشود مدل «مجوزدهی» قدیمی دیگر پاسخگو نباشد.
این تحقیق، مدلی به نام «State-bound» معرفی میکند که کمک میکند محدودیتهای دسترسی ایجنت حتی پس از تغییرات در رفتار یا مهارتهایش، از سقف تعیینشده توسط کاربر فراتر نرود. این یعنی یک لایه امنیتی جدید برای جلوگیری از رفتارهای غیرمنتظره ایجنتهای خودمختار!
این مقاله گامی مهم برای توسعه هوش مصنوعیهای ایمنتر است که حتی با تکامل یافتن، از خط قرمزهای امنیتی ما عبور نمیکنند.
منبع: arXiv AI