محققان در مقالهای تازه، به سراغ چالش بزرگ مدلهای زبانی رفتهاند: هزینه محاسباتی بالای مکانیزمهای «توجه» (Attention) که باعث میشود پردازش متون طولانی بسیار کند و سنگین شود.
در این پژوهش، چهار معماری جدید و کارآمد از جمله DeltaNet و Gated DeltaNet بررسی شدهاند تا جایگزینهای بهینهتری برای معماریهای سنتی پیدا کنند. نتایج نشان میدهد که این روشهای جدید نهتنها سرعت آموزش را به شکل چشمگیری افزایش میدهند، بلکه در برخی سناریوها، دقت مدل را نیز در مقایسه با روشهای استاندارد بهبود میبخشند. این دستاورد گامی مهم برای دستیابی به مدلهای هوش مصنوعی با حافظه و سرعت بسیار بالاتر است.
منبع: arXiv Machine Learning