آیا واقعاً میتوان با رتبهبندیهای فعلی گفت کدام مدل هوش مصنوعی بهتر است؟ محققان در یک پژوهش جدید، متوجه شدند که بسیاری از تفاوتهای موجود در لیدربوردهای معروف LLM، از نظر آماری چندان معنادار نیستند!
با معرفی متد جدید «Laplace-PSN-IRT»، حالا میتوان با استفاده از استنتاج بیزی (Bayesian)، عدم قطعیت مدلها را بهتر درک کرد. این یعنی به جای اتکا به رتبههای عددی ساده، میتوان با دقت بیشتری متوجه شد که آیا عملکرد یک مدل واقعاً برتر است یا خیر. این دستاورد به ما کمک میکند تا درک عمیقتری از بنچمارکهای هوش مصنوعی داشته باشیم و فریب اعداد ظاهری را نخوریم. 🧠✨
منبع: arXiv AI