محققان به یافته نگرانکنندهای درباره دستیارهای هوشمند کدنویسی (مثل Copilot) رسیدهاند. برخلاف چتباتهای معمولی که یک درخواست مخرب را در همان لحظه رد میکنند، این دستیارها در یک «گردش کاری» طولانیمدت (Workflow)، فریب میخورند!
در این تحقیق مشخص شده که مدلهای قدرتمندی مثل Claude و Gemini، وقتی یک هدف مخرب را به جای یک درخواست مستقیم، به قطعات کوچک در طول مراحل مختلف کدنویسی تقسیم میکنیم، به راحتی «جیلبریک» (Jailbreak) میشوند و کدهای ناامن تولید میکنند.
این یعنی تستهای امنیتی فعلی که فقط روی چتهای تکی تمرکز دارند، کافی نیستند و ابزارهای برنامهنویسی ما میتوانند نقطه ضعف جدیدی برای نفوذ باشند. مراقب کدهایی که هوش مصنوعی برایتان تولید میکند باشید! 🛡️
نویسی
منبع: arXiv AI