🤖 معمای مسیریابی در مدل‌های زبانی: آیا واقعاً مدل‌ها هوشمندتر انتخاب می‌شوند؟ 🧠

محققان در مقاله جدیدی به بررسی چالش «مسیریابی» (Routing) در مدل‌های زبانی بزرگ (LLM) پرداخته‌اند. هدف مسیریابی، انتخاب بهترین مدل برای هر درخواست به منظور افزایش کیفیت و کاهش هزینه است.

نکته کلیدی این تحقیق این است که «شکاف عملکرد» (Oracle Gap) که بین سیستم‌های مسیریاب و بهترین مدل ایده‌آل گزارش می‌شود، بخشی ناشی از نویز در داده‌های ارزیابی (تک‌نمونه‌ای بودن پاسخ‌ها) است و نه صرفاً برتری مدل‌ها.

تحلیل این تیم نشان می‌دهد که با تکنیک‌های نمونه‌گیری در زمان تست (Test-time sampling)، می‌توان بدون نیاز به مسیریاب‌های پیچیده، به عملکردی بسیار بهتر از آنچه تصور می‌شد دست یافت. این پژوهش نگاه دقیق‌تری به ارزیابی عدالت‌محور مدل‌ها در بنچمارک‌های مسیریابی دارد.

منبع: arXiv Machine Learning