محققان بهتازگی بنچمارک جدیدی به نام MatPhaseBench معرفی کردهاند که هدف آن به چالش کشیدن مدلهای بینایی-زبانی (VLM) در درک پیچیدگیهای علمی است.
این بنچمارک با بررسی ۲۰۰۰ نمودار فازیِ استخراجشده از مقالات معتبر علمی، توانایی مدلها را در تحلیلهای دقیق ترمودینامیکی و استدلالهای علمی میسنجد. نتایج نشان میدهد که مدلهای فعلی هنوز در درک عمیقِ این نمودارهای تخصصی ضعف دارند و بیشتر به سطحِ ظاهری تصاویر اکتفا میکنند. این یک گام مهم برای هوشمندتر کردن ابزارهای علمی در حوزه مهندسی مواد است.
منبع: arXiv AI