یکی از چالشهای بزرگ در استفاده از مدلهای زبانی (LLMs)، هزینه بالای اجرای آنهاست. روشهای فعلی برای ترکیب مدلهای کوچک و بزرگ اغلب با مشکل «کالیبراسیون» و خطاهای احتمالی روبرو هستند.
محققان به تازگی فریمورک جدیدی به نام «Conformal Cascade» (آبشار کانفورمال) معرفی کردهاند که این مشکل را حل میکند. این سیستم با استفاده از یک منطق هوشمند در لایههای مختلف، تصمیم میگیرد که آیا مدل کوچک پاسخ را به درستی پیدا کرده یا باید سوال را به مدل بزرگتر ارجاع دهد.
✅ مزیت اصلی: این روش یک ضمانت ریاضی برای دقت پاسخها ارائه میدهد و باعث میشود مدلها بدون افت کیفیت، بسیار سریعتر و اقتصادیتر عمل کنند. این فریمورک روی ۱۸ بنچمارک مختلف تست شده و نتایج خیرهکنندهای در کاهش هزینههای محاسباتی داشته است.
سازی
منبع: arXiv Machine Learning