آیا تا به حال به این فکر کردید که اگر یک ایجنت هوش مصنوعی دستورات شما را اشتباه متوجه شود و ابزارهای خطرناکی را اجرا کند چه اتفاقی میافتد؟
محققان برای حل این چالش، فریمورک جدیدی به نام ProvenanceGuard معرفی کردهاند. این سیستم به جای تکیه بر روشهای معمول، از «تحلیل تبارشناسی» (Provenance Analysis) استفاده میکند تا بررسی کند آیا هر اقدام ایجنت واقعاً با هدف کاربر همخوانی دارد یا خیر.
نتایج تستهای این مدل روی بنچمارکهای مختلف خیرهکننده است؛ ProvenanceGuard توانسته نرخ خطا در شناسایی اقدامات اشتباه ایجنتها را به شدت کاهش دهد و امنیت تعامل با آنها را بسیار بالاتر ببرد. گامی مهم برای اینکه به ایجنتهای خودمختار با خیال راحتتر اعتماد کنیم! 🤖✅
منبع: arXiv AI
