محققان تکنیک جدیدی به نام «PIVOT» معرفی کردهاند که مشکل گلوگاه در سیستمهای «توجه پراکنده» (Sparse Attention) را حل میکند. در مدلهای بزرگ، محاسباتِ انتخابِ توکنهای مهم معمولاً هزینهبر و کند است، اما PIVOT با گروهبندی پرسشهای مشابه و استفاده از یک پیمایش مشترک، این فرآیند را به شکل چشمگیری سریعتر میکند بدون اینکه دقت مدل کاهش یابد. 🧠
این روش که به صورت پلاگین روی مدلهایی مثل DeepSeek و GLM قابل اجراست، میتواند سرعت استنتاج را در سیستمهای تولیدی به شکل قابلتوجهی افزایش دهد. گامی دیگر برای داشتن هوش مصنوعی سریعتر و ارزانتر! 🤖✨
منبع: arXiv NLP
