🧠 چگونه حافظه مدل‌های زبانی را هوشمندتر فشرده کنیم؟

مدل‌های زبانی بزرگ (LLM) و عامل‌های هوشمند (Agents) برای پردازش‌های طولانی، به شدت درگیر مدیریت «حافظه» هستند؛ از کش کردن اطلاعات گرفته تا ذخیره تاریخچه چت‌ها. اما چطور می‌توانیم بدون از دست دادن کارایی، این حافظه را بهینه‌تر کنیم؟

در مقاله جدیدی که در arXiv منتشر شده، محققان با نگاهی متفاوت به این مسئله، آن را به عنوان یک چالش «نرخ-اعوجاج» (Rate-Distortion) بررسی کرده‌اند. آن‌ها پیشنهاد می‌دهند که برای حفظ حافظه در عامل‌های هوشمند، باید تصمیم بگیریم کدام بخش از اطلاعات حیاتی‌تر است و کدام را می‌توان فدا کرد.

این تحقیق با ارائه یک دسته‌بندی دقیق، نشان می‌دهد که متدهای فعلی مانند کوانتایز کردن کش (KV cache) یا هرس کردنِ Promptها، همگی زیرمجموعه یک هدف واحد هستند: «بهینه‌سازیِ آنچه مدل باید به یاد بسپارد». خواندن این مقاله برای توسعه‌دهندگان و علاقه‌مندان به معماری مدل‌های زبانی که به دنبال کاهش هزینه‌های پردازشی هستند، بسیار راهگشاست.

منبع: arXiv Machine Learning