🛡️ هوش مصنوعی و امنیت نرم‌افزار؛ آیا مدل‌های «خنثی‌سازی‌شده» در کدنویسی ایمن‌ترند؟

در دنیای توسعه نرم‌افزار، مدل‌های زبانی بزرگ (LLM) با یک چالش بزرگ روبرو هستند: مرز باریک بین «کمک به تحلیل آسیب‌پذیری» و «سوءاستفاده‌های امنیتی».

محققان در یک مطالعه جدید، دو رویکرد متفاوت را در مدل‌های Gemma و Qwen بررسی کرده‌اند:

۱. مدل‌های Aligned (دارای فیلترهای امنیتی و امتناع از تولید محتوای مخرب)
۲. مدل‌های Abliterated (فیلترهای امتناع‌گر در آن‌ها حذف یا تضعیف شده است)

نتایج نشان می‌دهد که در فرآیندهایی مثل تشخیص آسیب‌پذیری و پیشنهاد وصله‌های امنیتی، مدل‌های نوع دوم (Abliterated) عملکرد دقیق‌تر و موفق‌تری در تایید و اعمال وصله‌ها داشته‌اند. این پژوهش به ما یادآوری می‌کند که برای ابزارهای تخصصی امنیتی، شاید نیاز باشد به تعادل متفاوتی بین «امنیت عمومی» و «کارایی تخصصی» برسیم.

‌نویسی

منبع: arXiv AI