یکی از بزرگترین چالشهای استفاده از مدلهای قدرتمندی مثل SD3 یا FLUX، مصرف بالای منابع و سرعت پایین آنها در زمان اجرای دستورات (Inference) است. حالا محققان با معرفی فریمورک «OmniCache» راهکار هوشمندانهای برای این مشکل پیدا کردهاند.
این مدل بدون نیاز به آموزش مجدد، از تکراری بودن ویژگیهای پردازشی در لایههای مختلف (مثل فریمها و توکنها) استفاده میکند تا محاسبات غیرضروری را حذف کند. نتیجه؟ کاهش ۲۵ تا ۳۵ درصدی تاخیر در تولید محتوا، آن هم بدون افت کیفیت! این یک خبر عالی برای توسعهدهندگان و کاربران ابزارهای مولد است که میخواهند با سرعت بیشتری پروژههای خود را پیش ببرند. ✨
منبع: arXiv Computer Vision