محققان در پژوهشی جدید، حمله نوین و بسیار موثری به نام NTA (NonTextual Target Attack) را معرفی کردهاند که امنیت مدلهای زبانی (LLM) را به چالش میکشد.
تفاوت اصلی این روش با حملات قبلی این است که نیازی به تنظیم خروجیهای متنیِ از پیش تعیینشده (Fixed targets) ندارد. در واقع، NTA با استفاده از اهداف غیرمتنی، احتمال تولید پاسخهای ناامن توسط هوش مصنوعی را به حداکثر میرساند. نتایج آزمایشها نشان میدهد که این روش با نرخ موفقیت خیرهکننده ۹۶.۸ درصد، راه را برای کشف نقاط ضعف مدلها و در نتیجه ایمنتر کردن آنها در آینده هموار میکند.
این یافتهها نشان میدهد که لایههای حفاظتی هوش مصنوعی هنوز تا رسیدن به امنیت کامل راه زیادی دارند و تحقیقات در این زمینه حیاتی است.
منبع: arXiv AI