آیا واقعاً میدانیم مدلهای هوش مصنوعی چگونه «یاد میگیرند»؟ پژوهش جدیدی منتشر شده که با بررسی پدیده «Grokking» (ناگهان بهتر شدن عملکرد مدل پس از یادگیری اولیه)، به چالشهای جدیدی در معیارهای ارزیابی پرداخته است.
محققان متوجه شدند که معیارهای فعلی، وضعیت «همگرایی» مدلها را تا ۳ برابر اغراقآمیز نشان میدهند و فرآیند فشردهسازی اطلاعات در مدلها بسیار پیچیدهتر از چیزی است که تصور میکردیم. این تحقیق نشان میدهد که بسیاری از مدلها حتی مدتها پس از رسیدن به دقت مطلوب، همچنان در حال تغییرات داخلی هستند.
اگر در حوزه توسعه و آموزش مدلهای زبانی (LLM) فعالیت میکنید، این مطالعه فنی و ابزارِ ارزیابی جدید که همراه آن منتشر شده، دیدگاه عمیقتری درباره کیفیت یادگیری شبکه عصبی به شما میدهد.
منبع: arXiv AI