محققان در مقاله جدیدی به بررسی چالش بزرگ «ترنسفورمرها» یعنی سرعت و حافظه پرداختهاند. با وجود قدرت بالای مدلهای فعلی، پردازش حجم زیاد دادهها در آنها بسیار هزینهبر و کند است.
این تحقیق نشان میدهد که چگونه میتوان با استفاده از «ترنسفورمرهای خطی» (Linear Transformers) و تحلیلهای نظری جدید، درک بهتری از قابلیتهای این مدلها داشت. این دستاورد میتواند راه را برای طراحی مدلهای هوش مصنوعی سریعتر و بهینهتر باز کند که بدون نیاز به بهروزرسانی پارامترها، در شرایط مختلف عملکردی خیرهکننده دارند.
اگر به معماریهای پیشرفته هوش مصنوعی علاقه دارید، این مقاله علمی یک گام رو به جلو در بهینهسازی یادگیری در لحظه (In-Context Learning) محسوب میشود.
منبع: arXiv Machine Learning