مدلهای زبانی بزرگ (LLM) برای دسترسی به اطلاعات بهروز، از ابزارهای جستجو استفاده میکنند. اما محققان در مقالهای جدید، چالش خطرناکی به نام «مسمومسازی GEO» را بررسی کردهاند. این یعنی مهاجمان میتوانند با تکنیکهای بهینهسازی موتورهای تولیدکننده محتوا (Generative Engine Optimization)، مدلها را فریب داده و آنها را مجبور به استناد به منابع مخرب یا نادرست کنند.
برای مقابله با این تهدید، چارچوب جدیدی به نام GPE معرفی شده که با ایجاد محیطهای کنترلی، میزان مقاومت مدلها در برابر این حملات را ارزیابی میکند. این گامی مهم برای امنیت بیشتر در آینده هوش مصنوعی است. 🤖🔒
منبع: arXiv AI