با گسترش استفاده از مدلهای زبانی در کسبوکارها، امنیت این سیستمها به یکی از دغدغههای اصلی تبدیل شده است. محققان به تازگی چارچوب جدیدی به نام Adversarial Prompting Framework (APF) را معرفی کردهاند که به طور سیستماتیک، آسیبپذیری مدلهای هوش مصنوعی را در برابر حملات «پرامپتهای مخرب» ارزیابی میکند.
این ابزار جدید میتواند از درخواستهای مستقیم تا حملات پیچیده کدگذاریشده را شبیهسازی کند تا نقاط ضعف مدلهای هوش مصنوعی قبل از ورود به محیطهای عملیاتی شناسایی و ترمیم شوند. جالب است بدانید که طبق نتایج این مطالعه، پرامپتهای رمزگذاری شده بیشترین نرخ موفقیت را در دور زدن سدهای امنیتی هوش مصنوعی دارند! 🔐
منبع: arXiv AI