آیا استفاده از مدلهای Transformer در سیستمهای تشخیص نفوذ (IDS) واقعاً عملکرد بهتری دارد؟ تحقیقات جدیدی که اخیراً بر روی دیتاسیت مشهور CIC-IDS2017 انجام شده، نتایج جالبی را به چالش کشیده است!
دانشمندان در این پژوهش نشان دادند که بسیاری از نتایج فوقالعاده ترنسفورمرها در تشخیص نفوذ، صرفاً به دلیل «روشهای ناصحیح ارزیابی» و نحوه Padding دادهها بوده است. در واقع وقتی ارزیابیها را از حالت «نشت داده» (Leakage-free) خارج میکنیم، مدلهای کلاسیکتری مثل LSTM و Random Forest پایداری بسیار بالاتری نسبت به ترنسفورمرها نشان میدهند.
این مطالعه یک زنگ خطر مهم برای متخصصان امنیت سایبری و هوش مصنوعی است: مراقب باشید که در ارزیابی مدلهایتان، فریبِ متدولوژیهای غلط را نخورید! 📉💡
منبع: arXiv Machine Learning