محققان در یک دستاورد تازه، راهکار هوشمندانهای برای بهینهسازی روش TriAttention (که برای کاهش مصرف KV Cache در مدلهای زبانی طولانی استفاده میشود) ارائه دادهاند.
این روش جدید با استفاده از یک هویت جبری ساده، محاسبات مربوط به امتیازدهی کلیدها (Key Scoring) را به شدت کاهش میدهد. در واقع، بهجای محاسبه میانگین روی ۱۷ فاصله زمانی مختلف، حالا میتوان با یک مرحله محاسبه آفلاین به همان نتیجه دقیق دست یافت. این یعنی سرعت بیشتر در پردازش بدون افت کیفیت در انتخاب کلیدهای مهم! 🚀
این بهبود کوچک اما موثر، گامی دیگر در جهت بهینهتر کردن مدلهای بزرگ هوش مصنوعی برای استنتاج سریعتر است.
منبع: arXiv Machine Learning