بسیاری از مدلهای زبانی (LLM) در تستهای استاندارد تبدیل متن به SQL امتیاز بالایی میگیرند، اما در دنیای واقعی و محیطهای سازمانی که دسترسیها محدود (RBAC) هستند، اغلب دچار خطا میشوند.
محققان بهتازگی چارچوب بنچمارک جدیدی معرفی کردهاند که سیستمهای هوش مصنوعی را با محدودیتهای واقعیِ دسترسیِ کاربران میسنجد. این مدل با شبیهسازی نقشهای کاربری و سیاستهای دسترسی، به توسعهدهندگان کمک میکند تا امنیت و عملکرد کوئریهای تولید شده توسط AI را در سازمانها تضمین کنند. این گام بزرگی برای استفاده امن از هوش مصنوعی در شرکتهای بزرگ است! 🛡️💻
منبع: arXiv AI