آیا هوش مصنوعی واقعاً در نوشتن مقالات علمی دقیق عمل میکند؟ با اینکه مدلهای زبانی در نوشتن متنهای روان عالی هستند، اما در بخش «بخش کارهای مرتبط» (Related Work) اغلب دچار اشتباهاتی مثل ارجاعدهی غلط یا انتخاب منابع نامناسب میشوند.
محققان بهتازگی بنچمارک جدیدی به نام RWGBench را معرفی کردهاند که به جای بررسی ساده شباهت متنی، روی «مهارت ارجاعدهی و ساختار علمی» مدلها تمرکز میکند. این ابزار به محققان کمک میکند تا بفهمند آیا مدلهای زبانی واقعاً مفهوم پژوهش را درک کردهاند یا فقط در حال ترکیب جملات هستند. قدمی مهم برای علمیتر کردن تولید محتوای تخصصی توسط هوش مصنوعی! 🎓🤖
منبع: arXiv AI