دانشمندان در مقالهای جدید، فریمورک نوآورانه «CARGO» را معرفی کردند که دنیای اجرای مدلهای زبانی (LLM) را دگرگون میکند. تا پیش از این، برای اجرای مدلهای بزرگ روی سیستمهای محلی (Local) و همکاری با فضای ابری، نیاز به مدلهای مسیریاب (Router) آموزشدیده بودیم که هزینهبر و پیچیده بودند.
اما حالا CARGO این معادله را تغییر داده است:
✅ بدون نیاز به آموزش اضافی (Training-free)
✅ استفاده از «اعتبار پاسخهای مدل» برای تصمیمگیری لحظهای
✅ بهرهگیری از نمونهگیریهای هوشمند و توقف زودهنگام بیزی
این روش نه تنها دقیقتر از متدهای سنتی عمل میکند، بلکه به توسعهدهندگان اجازه میدهد بدون دردسرهای آموزش مدلهای واسط، بهترین تعادل را بین سرعت سیستم محلی و قدرت فضای ابری ایجاد کنند.
نویسی
منبع: arXiv AI