یکی از بزرگترین چالشهای مدلهای زبانی بزرگ، محدودیت حافظه و افت سرعت هنگام پردازش متنهای طولانی است. حالا محققان در پژوهشی جدید، مدل هیبریدی و نوآورانه «BDLM Mamba-H» را معرفی کردهاند که با ترکیب معماریهای Mamba و Attention، مشکل بازبینی دادهها در حافظه را حل میکند.
این مدل با محدود کردن پردازشهای معکوس به بخشهای کوچکتر (Active Denoising Blocks)، امکان ذخیرهسازی دقیقتر (Caching) را فراهم کرده و موفق شده در پردازشهای سنگین، سرعتی تا ۱۹.۷ برابر بیشتر از مدلهای مشابه ارائه دهد. این یک گام بزرگ برای کاربردیتر شدن هوش مصنوعی در تحلیل اسناد بسیار طولانی است! 📚✨
منبع: arXiv AI