یک تحقیق جدید روی مدلهای تشخیص فیشینگ (ترکیب TF-IDF با رگرسیون لجستیک و مدل DistilBERT) نشان داده که حتی مدلهای پیشرفته هم وقتی با ایمیلهای مخرب و دستکاریشده مواجه میشوند، به شدت شکست میخورند!
نکته کلیدی این پژوهش اینجاست: دقت بالا در تستهای معمولی، اصلاً به معنای امنیت بالا در دنیای واقعی نیست. نتایج نشان داد که هر دو مدل در مواجهه با حملات، افت عملکرد بسیار شدیدی داشتند (سقوط دقت به حدود ۶۳ درصد).
این تحقیق هشدار میدهد که باید در ارزیابی مدلهای امنیتی هوش مصنوعی، رویکرد «تستهای خصمانه» (Adversarial Testing) را جدیتر بگیریم، نه فقط معیارهای استاندارد و تمیز.
منبع: arXiv AI