محققان در مقالهای جدید از الگوریتم نوآورانه «GPTQ-2D» رونمایی کردند که زمان محاسبات مدلهای کوانتایز شده را بهشدت کاهش میدهد! 📉
در روشهای رایج مانند GPTQ (یا الگوریتم nearest plane بابای)، پردازش ماتریسها بهصورت ترتیبی انجام میشود که زمانبر است. اما این روش جدید با استفاده از تکنیک پردازش «قطر فرعی» (Anti-diagonal)، موفق شده محاسبات دوطرفه را در زمان مکعبی (Cubic-time) انجام دهد. این یعنی سرعت بسیار بالاتر در پردازش و اجرای موازی که میتواند مسیر را برای اجرای مدلهای بسیار بزرگ روی سختافزارهای محدود هموارتر کند. 🧠⚙️
منبع: arXiv Machine Learning