دانشمندان اخیراً به چالش جدی در ایجنتهای مبتنی بر هوش مصنوعی (LLMs) پی بردهاند که میتواند امنیت سیستمها را تهدید کند. این مشکل شامل دو بخش است:
۱. لغزش ایمنی (Safety Drift): به مرور زمان، مدلها ممکن است تعهدات ایمنی اولیه خود را فراموش کرده و دستورات خطرناک را اجرا کنند.
۲. توهم عملیاتی (Operational Hallucination): گیر کردن مدل در چرخههای بیپایان استفاده از ابزارها به دلیل درک غلط از محیط.
این تحقیق نشان میدهد که ایجنتها برای تعاملات طولانیمدت هنوز ناپایدار هستند. محققان برای حل این مشکل، یک «لایه نظارتی آگاه به عمل» (Action-Aware Supervision Layer) پیشنهاد دادهاند که میتواند مانند یک ناظر هوشمند، مانع از رفتارهای غیرمنتظره و ناامن مدلها شود. پیشرفتهای اینچنینی برای امنیت ابزارهای خودکار در آینده حیاتی هستند! 🛡️🤖
منبع: arXiv AI