محققان در مقاله جدیدی به چالش «بهینهسازی بودجهبندی» در مدلهای زبانی (LLM) پرداختند. سیستمهای انتخابگر (Selective-compute) که تصمیم میگیرند کدام خروجی نیاز به بررسی یا پردازش بیشتر دارد، اغلب با مشکل «ناهمگنی دادهها» روبرو میشوند که باعث اختلال در تصمیمگیری میشود.
این تیم با معرفی متد جدیدی به نام «Heterogeneity-Gated Allocation» (به اختصار HGA)، راهکاری برای حل این مشکل ارائه دادهاند. این سیستم با استفاده از یک تست مقایسهای اولیه، هوشمندانه انتخاب میکند که تخصیص منابع به صورت جهانی باشد یا لایهبندیشده؛ که این امر در آزمونهای دشواری مثل MBPP و MATH، تا ۱۷ درصد دقت و کارایی را افزایش داده است. پیشرفتی کاربردی برای بهینهتر کردن مدلهای قدرتمندی مثل GPT-4o-mini و LLaMA3!
منبع: arXiv AI