دنیای امنیت سایبری با یک چالش بزرگ روبروست؛ آیا مدلهای زبانی توانایی کشف حفرههای امنیتی پیچیده در کدهای سنگین را دارند؟ پژوهشگران با معرفی SEC-bench Pro سعی کردهاند به این سوال پاسخ دهند.
این بنچمارک با بررسی ۳۴۴ آسیبپذیری واقعی در سیستمهای پیچیدهای مثل هسته لینوکس و موتورهای مرورگر، عملکرد مدلهای مختلف را به چالش کشیده است. جالب اینجاست که این مدلها نه تنها در تستها درخشیدند، بلکه در حین ارزیابی موفق به کشف ۳ آسیبپذیری جدید در مرورگرهای مطرح شدند!
با اینکه مدلهای قدرتمند فعلی پیشرفت چشمگیری داشتهاند، اما هنوز مسیر زیادی تا جایگزینی کامل متخصصان امنیت در پیش داریم.
منبع: arXiv Machine Learning