📊 آیا تست A/B همیشه بهترین انتخاب است؟ چالش در ارزیابی الگوریتم‌ها

در دنیای توسعه هوش مصنوعی، تست A/B به عنوان «استاندارد طلایی» برای انتخاب بهترین الگوریتم شناخته می‌شود. اما یک مقاله علمی جدید، این باور سنتی را به چالش کشیده است!

محققان در این تحقیق نشان داده‌اند که برخلاف تصور رایج، تست A/B می‌تواند نرخ خطای بالاتری نسبت به روش‌های «ارزیابی آفلاین» داشته باشد. دلیل آن هم این است که روش‌های آفلاین به‌طور ناخواسته نوعی «همبستگی مثبت» ایجاد می‌کنند که به دقت بیشتر در مقایسه الگوریتم‌ها کمک می‌کند.

این تیم برای حل مشکل، راهکار جدیدی پیشنهاد داده که با معرفی یک الگوریتم واسطه و استفاده هوشمندانه از داده‌های مشترک، دقت انتخاب بهترین مدل را در تست‌های A/B به‌شکل قابل‌توجهی افزایش می‌دهد. این یعنی مسیری مطمئن‌تر برای بهبود کیفیت مدل‌های هوش مصنوعی قبل از انتشار عمومی!

منبع: arXiv Machine Learning