🛡 امنیت هوش مصنوعی؛ «Safety Sentry» مرز بین اجرا و خطا را تعیین می‌کند! 🤖

یکی از چالش‌های بزرگ ایجنت‌های هوشمند که به ابزارهای واقعی دسترسی دارند، تصمیم‌گیری درباره ایمنیِ یک عمل است. سیستم‌های فعلی اغلب «سیاه یا سفید» عمل می‌کنند که منجر به مسدودسازی‌های بی‌مورد یا خطاهای خطرناک می‌شود.

محققان مدل جدیدی به نام Safety Sentry معرفی کرده‌اند که به جای پاسخ‌های ساده «مجاز/غیرمجاز»، تصمیم‌گیری را به سه دسته هوشمند تقسیم می‌کند: اجرا (Execute)، پرسش از کاربر (Ask) یا امتناع (Refuse). این سیستم نه تنها دقت بالاتری نسبت به مدل‌های فعلی دارد، بلکه اجازه می‌دهد سطح حساسیت امنیتی را بدون نیاز به آموزش مجدد مدل، تغییر داد.

این نوآوری گام مهمی برای افزایش اعتماد به ایجنت‌های خودمختار در دنیای واقعی است. ✨

منبع: arXiv AI