محققان در یک پژوهش فنی و کاربردی، راهکاری به نام «دروازه LRF» یا پیشبینی منابع زبانی ابداع کردهاند. این ابزار هوشمند میتواند قبل از اینکه مدلهای زبانی در سیستمهای محلی (Edge) به دلیل حجم بالای درخواستها و پر شدن حافظه VRAM دچار کرش یا OOM شوند، آنها را شناسایی کرده و هوشمندانه بین سرورهای محلی و ابری توزیع کند.
این روش که با استفاده از مدلهای سبک (مانند XGBoost) کار میکند، توانسته نرخ خطاهای ناشی از حافظه را به طرز چشمگیری کاهش دهد و کارایی سیستمهای هوش مصنوعی در شرایط سخت را چندین برابر کند. یک دستاورد عالی برای بهینهسازی اجرای مدلهای بزرگ روی سختافزارهای محدود! 🚀🖥️
سازی نویسی
منبع: arXiv NLP