همانطور که میدانید، یکی از بزرگترین چالشهای مدلهای زبانی بزرگ (LLM)، هزینهی بالای محاسباتی هنگام کار با متون طولانی (Long-Context) است. حالا محققان متد جدیدی به نام «Spectral-LSH» معرفی کردهاند که بدون نیاز به آموزش مجدد، پرامپتها را پیش از ورود به مدل فشرده میکند.
این روش با استفاده از تکنیکهای ریاضی پیشرفته (Krylov subspace)، بهجای پردازش تکتک توکنها، آنها را به صورت هوشمند گروهبندی و ترکیب میکند. نتیجه این کار چیست؟
✅ کاهش چشمگیر هزینههای محاسباتی
✅ حفظ دقت مدل در مقایسه با روشهای قدیمی (Chunking)
✅ بهبود قابلتوجه در مدلهای محبوبی مثل Qwen2.5 و Mistral
این نوآوری راه را برای استفاده از متنهای بسیار طولانی در چتباتها هموارتر میکند. نظر شما چیست؟ آیا این روش میتواند جایگزین حافظههای متنی گرانقیمت فعلی شود؟
منبع: arXiv NLP