🔍 هوش مصنوعی و معمای تشخیص محتوای خطرناک؛ آیا مدل‌ها واقعاً «زمینه» را درک می‌کنند؟ 🤖

محققان در یک پژوهش جدید، کاراییِ حسگرهای فعال‌سازی (Activation Probes) در مدل‌های زبانی را به چالش کشیدند. نتایج نشان می‌دهد که این حسگرها در تشخیص محتوای خطرناک، بیشتر شبیه به «شناسگرهای ریسک کلی» عمل می‌کنند تا «قاضی‌های دقیق زمینه».

به عبارت ساده، این مدل‌ها ممکن است بتوانند یک درخواست مخرب را مسدود کنند، اما همچنان در تشخیص تفاوت‌های ظریف بین درخواست‌های بی‌خطر و مخرب در شرایط مشابه، با خطاهای قابل توجهی مواجه هستند. این تحقیق زنگ خطری برای توسعه‌دهندگان است که باید مراقبِ اتکای بیش از حد به سیستم‌های امنیتی فعلی باشند.

منبع: arXiv AI