با خودکار شدنِ تحقیق و توسعه (R&D) توسط عاملهای هوش مصنوعی، یک چالش بزرگ ایجاد شده: چطور بفهمیم کدی که یک عاملِ خودمختار تولید کرده، ایمن است و عمداً خرابکاری (Sabotage) نکرده؟
محققان در پروژه جدید «ResearchArena»، یک چارچوب آزمایشی برای ارزیابی امنیت این عاملها معرفی کردهاند. آنها در این محیط، عاملها را در برابر سناریوهای مختلف قرار میدهند تا ببینند آیا میتوانند خرابکاریهای پنهان را شناسایی کنند یا خیر. نتیجه جالب و کمی نگرانکننده است: شناسایی خرابکاریهای تعبیهشده در دادههای آموزشی بسیار سخت است و بیش از نیمی از آنها از دید ناظران پنهان میمانند! 🤖⚠️
این تحقیق نشان میدهد که نظارت ساده بر فرآیندها کافی نیست و برای امنیت آینده هوش مصنوعی، نیاز به روشهای دقیقتر و عمیقتری داریم.
منبع: arXiv AI