محققان با معرفی دیتاست جدید MetaSyn، عملکرد مدلهای زبانی (LLM) را در انجام «فرا-تحلیل» (Meta-Analysis) علمی بررسی کردهاند. این پژوهش نشان میدهد که اگرچه مدلهای فعلی در بازیابی اطلاعات خوب عمل میکنند، اما در تشخیص مقالات علمی معتبر از منابع نامرتبط یا گمراهکننده، همچنان ضعفهای جدی دارند.
نتیجه کلیدی: حتی پیشرفتهترین ایجنتها هنوز نمیتوانند دقت بالایی در تحلیل دقیق مقالات علمی داشته باشند و این یک «گردنه» مهم در مسیر استفاده از AI برای تحقیقات علمی است.
این خبر برای توسعهدهندگان حوزه علمی و ایجنتهای هوشمند بسیار قابل تأمل است. 🤖🔬
منبع: arXiv NLP