با گسترش استفاده از «عاملهای هوشمند» (Agentic Systems) که به ابزارهای مختلف دسترسی دارند، چالش نشت داده و حملات تزریق پرامپت (Prompt Injection) به شدت افزایش یافته است.
محققان در یک پژوهش جدید، یک خطلولهی پیشپردازش (Pre-deployment pipeline) معرفی کردهاند که قبل از انتشار برنامههای هوش مصنوعی، آنها را اسکن و «سختکاری» (Hardening) میکند. این سیستم با تحلیل خودکار پرامپتها و کدهای فراخوانی ابزار، نقاط ضعف را شناسایی و به صورت خودکار اصلاح میکند تا از نشت اطلاعات حساس جلوگیری شود. 🔒🤖
این ابزار میتواند گامی مهم برای توسعهدهندگانی باشد که میخواهند عاملهای هوشمند امنتر و قابلاعتمادتری طراحی کنند.
منبع: arXiv AI
