🚀 عبور از محدودیت ۲ میلیون توکن با تکنیک جدید LongStraw!

🧠 چرا هوش مصنوعی گاهی «خیالات» می‌بیند؟

محققان به تازگی سیستم هوشمند و کارآمدی به نام «LongStraw» معرفی کرده‌اند که انقلابی در آموزش مدل‌های زبانی با متون بسیار طولانی ایجاد می‌کند. این فناوری اجازه می‌دهد مدل‌های بزرگ (مثل Qwen3.6) با استفاده از یادگیری تقویتی (RL) و با وجود محدودیت‌های حافظه GPU، بتوانند تا بیش از ۲ میلیون توکن را پردازش کنند.

تکنیک LongStraw با مدیریت بهینه وضعیت‌ها و بازسازی هوشمندانه پاسخ‌ها، بدون نیاز به گراف‌های پیچیده و سنگین محاسباتی، به مدل‌ها کمک می‌کند تا در محیط‌های عملیاتی بسیار سنگین، عملکرد دقیق و پایداری داشته باشند.

منبع: arXiv Machine Learning