محققان در پژوهش جدیدی به سراغ بررسی چالشی به نام «فروپاشی ناشی از توزیع» در مدلهای زبانی رفتهاند. نتایج این تحقیق نشان میدهد که اگرچه تزریق «پیشفرضهای ساختاری» (Structural Priors) به مدلهای کدنویسی میتواند دقت آنها را در شناسایی حفرههای امنیتی در محیطهای آزمایشگاهی به ۱۰۰٪ برساند، اما همین مدلها در مواجهه با دادههای واقعی و پیچیده (مثل CVEهای واقعی)، دچار افت شدید عملکرد میشوند.
این مطالعه ثابت میکند که استفاده از میانبرهای آموزشی (Cheatsheets) همیشه بهترین راه نیست و گاهی میتواند مدل را در دنیای واقعی آسیبپذیرتر کند. در واقع، دانشِ نهفته مدلهای LLM برای حل مسائل امنیتی بسیار بیشتر از آن چیزی است که در خروجیهای عادی میبینیم، اما مدیریت این دانش نیازمند رویکردهای دقیقتری است. 🤖💻
نویسی
منبع: arXiv NLP