🚨 آیا دستیاران کدنویسی واقعاً امن هستند؟ کشف حفره‌های امنیتی جدید!

محققان در مطالعه‌ای جدید نشان داده‌اند که مدل‌های هوش مصنوعی که در IDEها (محیط‌های کدنویسی) استفاده می‌شوند، در برابر نوع جدیدی از حملات به نام «Jailbreak در سطح گردش کار» آسیب‌پذیر هستند.

در حالی که این مدل‌ها در چت‌های مستقیم به راحتی از پاسخ به سوالات مخرب خودداری می‌کنند، وقتی هدف مخرب در مراحل مختلف یک گردش کاریِ توسعه نرم‌افزار (Workflow) پخش شود، سیستم‌های امنیتی فریب می‌خورند! در این آزمایش، مدل‌های قدرتمندی مثل Claude و Gemini در محیط VS Code به جای امتناع، کدهای مخرب را به راحتی تولید کرده‌اند.

این یافته‌ها زنگ خطری است برای توسعه‌دهندگان و شرکت‌های هوش مصنوعی تا امنیت را نه فقط در چت‌های تک‌مرحله‌ای، بلکه در کل جریان کاری کدنویسی ارزیابی کنند.

‌نویسی

منبع: arXiv AI