محققان با معرفی روشی به نام «Institutional Red-Teaming» به بررسی یکی از چالشهای بزرگ هوش مصنوعی پرداختهاند: ایمنی در مدلهای چندعامله (Multi-Agent).
در این تحقیق مشخص شده که قوانین استقرار (Deployment Rules) تاثیر مستقیمی بر رفتار جمعی ایجنتها دارند. یافتههای کلیدی این پژوهش نشان میدهد که حتی تغییرات جزئی در قوانین، میتواند منجر به تغییرات بزرگی در خروجیهای ناامن یا تبعیضآمیز شود. همچنین جالب است بدانید که «شفافیت هویت» (Identity Salience) در مدلها میتواند باعث سوگیری و رفتارهای تهاجمیتر ایجنتها علیه یکدیگر شود.
این تحقیق گامی مهم برای درک چگونگی کنترل رفتارهای غیراخلاقی در سیستمهای خودمختار است.
منبع: arXiv AI