🛡 کشف یک آسیب‌پذیری جدید در سیستم‌های هوش مصنوعی: حمله استنتاج تعبیه (Embedding Inference)

⚠️ هشدار به محققان: چرا دقت مدل‌های شناسایی پهپاد گاهی «واقعی» نیست؟

محققان به‌تازگی یک تهدید امنیتی تازه برای سیستم‌های بازیابی اطلاعات (IR) و مدل‌های RAG شناسایی کرده‌اند که با نام «EIA» شناخته می‌شود. در این حمله، مهاجمان حتی در حالت «جعبه‌سیاه» (بدون دسترسی به امتیازات رتبه‌بندی)، تنها با ارسال پرس‌وجوهای (Query) خاص می‌توانند مدل تعبیه (Embedding Model) مورد استفاده در سیستم شما را شناسایی کنند! 🔍

این یافته نشان می‌دهد که حتی با وجود مکانیسم‌های دفاعی مثل بازرتبه‌بندی (Reranker)، سیستم‌های هوش مصنوعی همچنان در برابر مهندسی معکوس مدل آسیب‌پذیر هستند. این پژوهش زنگ خطری برای توسعه‌دهندگان است تا با پیاده‌سازی حد آستانه شباهت (Similarity Thresholds) و سایر روش‌های کنترلی، امنیت ساختار RAG خود را تقویت کنند. 🔐

منبع: arXiv Machine Learning