یکی از بزرگترین چالشهای فعلی هوش مصنوعی، محدودیت در «حافظه کوتاهمدت» مدلهاست. در حالی که مدلها برای پردازشهای سنگین به میلیونها توکن نیاز دارند، آموزش آنها با این حجم اطلاعات، بودجه سختافزاری سرسامآوری میطلبد.
محققان با معرفی معماری «LongStraw» این مشکل را حل کردهاند! این روش به مدلها اجازه میدهد بدون نیاز به سختافزار فوقسنگین، با استفاده از تکنیکهای بهینهسازی در حافظه (Memory-Efficient)، متنهای تا ۲ میلیون توکن و حتی بیشتر را پردازش و آموزش ببینند. این یعنی در آینده نزدیک، مدلهای هوش مصنوعی میتوانند کل یک کتابخانه یا اسناد بسیار طولانی را در یک مرحله تحلیل کنند.
این دستاورد یک قدم بزرگ برای هوشمندتر شدن «AI Agents» و توانمندی آنها در تصمیمگیریهای پیچیده است. 🔥
منبع: arXiv Machine Learning