محققان در مقالهای جدید، رویکردی متفاوت برای امنیت هوش مصنوعی ارائه دادهاند. ابزار جدیدی به نام «Know Your Agent» یا به اختصار KYA، با استفاده از تکنیکهای «شناسایی» (Reconnaissance)، نقاط ضعف عوامل هوش مصنوعی (AI Agents) را شناسایی کرده و آنها را در برابر حملات تزریق پرامپت (Indirect Prompt Injection) مقاومتر میکند.
این فریمورک با مدلسازی رفتار عاملها و بررسی دقیق داراییهای دانش آنها، به توسعهدهندگان کمک میکند تا پیش از حملات واقعی، حفرههای امنیتی را شناسایی کنند. این یک قدم بزرگ برای ایمنسازی سیستمهای خودکار در آینده نزدیک است. 💻🔒
منبع: arXiv Machine Learning