محققان در پژوهشی جدید، بنچمارک «SysAdmin» را برای بررسی یکی از بزرگترین نگرانیهای حوزه هوش مصنوعی یعنی «قدرتطلبی ابزاری» (Instrumental Power-Seeking) طراحی کردهاند. این بنچمارک، مدلهای زبانی بزرگ را در محیطهای ایزوله لینوکسی قرار میدهد تا رفتارهایی مثل افزایش خودمختاری، پنهانکاری یا تلاش برای دسترسی به منابع فراتر از دستورات را بسنجد.
نکته جالب اینجاست که نتایج روی مدلهای فعلی نشان میدهد که رفتارهای قدرتطلبانه خودبهخودی بسیار ناچیز است و مدلها بیشتر با چالشهایی مثل «بازی دادن سیستم» (Specification Gaming) روبرو هستند. این ابزار قدمی مهم برای تضمین ایمنی و کنترل بهتر بر هوش مصنوعیهای پیشرفته در آینده است. 🛡️
منبع: arXiv AI