آیا دادههای مصنوعی تولید شده توسط هوش مصنوعی، واقعاً برای تحلیلهای پیچیده SQL قابل اعتماد هستند؟
محققان در تازهترین پژوهش خود، بنچمارک جدیدی به نام TabQueryBench را معرفی کردهاند که به طور خاص بر «وفاداری دادههای مصنوعی به پرسوجوهای تحلیلی» تمرکز دارد. این ابزار با استفاده از ۴۴ قالب پرسوجوی SQL، بررسی میکند که آیا خروجیهای مدلهای هوش مصنوعی واقعاً در دنیای واقعی کاربرد دارند یا فقط از نظر آماری ظاهر درستی دارند.
نتایج اولیه نشان میدهد که بسیاری از مدلهای محبوب، در پاسخ به پرسوجوهای تحلیلی دچار ضعف هستند و هنوز با دادههای واقعی فاصله دارند. این بنچمارک گام بزرگی برای بهبود کیفیت دادههای مصنوعی در حوزههای حساس است.
منبع: arXiv AI