آیا مدلهای زبانی واقعاً مفاهیم درسی را درک میکنند؟ محققان برای پاسخ به این چالش، «K12-KGraph» را معرفی کردهاند؛ یک گراف دانش دقیق که بر اساس کتابهای درسی رسمی (ریاضی، فیزیک، شیمی و زیست) طراحی شده است.
این پروژه شامل:
✅ K12-Bench: یک بنچمارک شامل بیش از ۲۳ هزار سوال برای سنجش درک مدلها از ساختار درسی و روابط مفاهیم.
✅ K12-Train: مجموعهای از دادههای آموزشی برای تقویت مدلها در محیطهای آموزشی.
نتایج نشان میدهد که مدلهای قدرتمندی مثل Gemini-3-Flash هنوز در درک پیشنیازها و روابط مفاهیم درسی چالش دارند، اما آموزش اختصاصی با این گراف دانش میتواند عملکرد آنها را بهطرز چشمگیری بهبود ببخشد. گامی بزرگ برای رسیدن به دستیارهای آموزشی هوشمند و دقیق! 📚🤖
منبع: arXiv NLP