محققان با معرفی فریمورک جدیدی به نام «SPDP»، تحولی در بهینهسازی استنتاج (Inference) مدلهای هوش مصنوعی ایجاد کردهاند. این روش با ترکیب هوشمندانه هرس کردن استاتیک و داینامیک، مشکل سنگین بودن پردازش مدلها روی کارتهای گرافیک را هدف قرار داده است.
نتایج نشان میدهد که SPDP میتواند سرعت پردازش را تا ۲.۵ برابر نسبت به روشهای فعلی افزایش دهد، بدون اینکه کیفیت و دقت پاسخدهی مدل کاهش یابد. این خبر برای توسعهدهندگان و متخصصان سختافزار که به دنبال اجرای بهینهتر مدلهای بزرگ هستند، بسیار هیجانانگیز است! ⚡️
منبع: arXiv AI