محققان در یک پژوهش جدید، مجموعه داده غولآسا و متنباز «SciCodePile» را معرفی کردند که شامل ۱۲۸ گیگابایت کد تخصصی از حوزههای مختلف علوم محاسباتی است. 💻🔬
نکته جالب اینجاست که حتی پیشرفتهترین مدلهای زبانی (LLMs) در مواجهه با کدهای علمی و دقیق، عملکرد چندان درخشانی ندارند و تنها موفق به کسب دقت ۱۲.۳ درصدی در بنچمارک اجرایی این تحقیق شدهاند. این یعنی هنوز تا رسیدن به هوش مصنوعی که بتواند بدون خطا برنامهنویسی علمی انجام دهد، راه زیادی باقی مانده است! این دیتاسِت جدید میتواند گامی بلند برای آموزش مدلهای تخصصیتر در آینده باشد. 📈✨
منبع: arXiv AI