محققان در یک پژوهش جدید، امنیت و دقت «عوامل هوش مصنوعی» (LLM Agents) را زیر ذرهبین بردهاند. یکی از چالشهای بزرگ این مدلها این است که هنگام تصمیمگیری، اطلاعات معتبر و غیرمعتبر را از منابع مختلف (مثل تاریخچه چت یا اسناد وب) ترکیب میکنند.
این مطالعه نشان میدهد که حتی با وجود دستورالعملهای امنیتی، مدلها همچنان در ۵.۴ درصد مواقع تحت تأثیر اطلاعات غیرقابل اعتماد قرار میگیرند و رفتارشان تغییر میکند. این یافتهها گام مهمی برای ساخت سیستمهای خودمختار امنتر و قابلاعتمادتر در آینده است. 🧠💻
منبع: arXiv AI