آیا هوش مصنوعی واقعاً میتواند در دنیای واقعی و دادههای پیچیده «جستجو و تحلیل» کند؟ محققان بهتازگی بنچمارک جدیدی به نام LakeQuest را معرفی کردهاند که برخلاف تستهای معمولی، مدلهای هوش مصنوعی را در محیطهای «دادهمحور» (Data Lakes) به چالش میکشد.
این بنچمارک شامل بیش از ۹ هزار سوال در سه حوزه مختلف (هوش مصنوعی، بانکداری و زیستشناسی) است و نشان میدهد که حتی مدلهای پیشرفته RAG در زنجیرهسازی روابط و استدلالهای دقیق در دادههای نامنظم هنوز ضعفهای جدی دارند. این ابزار کمک بزرگی برای توسعهدهندگان است تا بفهمند مدلشان چقدر در دنیای واقعی «باهوش» است! 🧠💡
منبع: arXiv AI