یکی از بزرگترین چالشهای فعلی هوش مصنوعی، مدیریت متون بسیار طولانی و حفظ جزئیات در آنهاست. محققان به تازگی معماری جدیدی به نام HiCI (Hierarchical Construction-Integration) معرفی کردهاند که با الهام از ساختارهای شناختی انسان، پردازش متن را سلسلهمراتبی میکند.
ویژگیهای کلیدی این دستاورد:
✅ افزایش ظرفیت متن مدل LLaMA-2 از ۴ هزار به ۱۰۰ هزار توکن!
✅ بازدهی بالا با اضافه کردن تنها ۵.۵٪ پارامترهای جدید.
✅ عملکردی خیرهکننده که در فهم کد از GPT-3.5-Turbo-16K پیشی گرفته است.
این یعنی به زودی مدلهایی خواهیم داشت که میتوانند کل کتابها یا داکیومنتهای فنی بسیار قطور را بدون از دست دادن تمرکز، تحلیل و درک کنند. این مدل یک گام بزرگ برای عبور از محدودیتهای فعلی حافظه در LLMهاست. 🧠✨
منبع: arXiv AI