تا به حال دقت کردهاید که چقدر راحت در گزارشها، فقط با تکیه بر یک عدد «دقت» (Accuracy)، مدلها را بهتر یا بدتر میدانیم؟ محققان با معرفی کتابخانه جدید evalci به سراغ حل این چالش رفتهاند.
این ابزار پایتونی به پژوهشگران کمک میکند تا به جای اتکا به شانس یا نویزهای آماری، با استفاده از روشهای استاندارد (مثل بازههای اطمینان و آزمونهای معناداری)، ادعاهای خود درباره عملکرد مدلهای زبانی را به صورت علمی و اثباتشده مطرح کنند. جالب است بدانید در بررسیهای اولیه با این ابزار، مشخص شد که بسیاری از تفاوتهای رتبهبندی مدلها در بنچمارکهای معروف، از نظر آماری اصلاً معنادار نیستند!
اگر در حوزه توسعه یا ارزیابی مدلها فعالیت میکنید، این ابزار کارتان را بسیار دقیقتر و حرفهایتر میکند.
منبع: arXiv AI