🤖 آیا ترنسفورمرها واقعاً بی‌رقیب هستند؟

محققان در یک مطالعه جدید به چالش جذابی پرداخته‌اند: آیا معماری «ترنسفورمر» که ستون فقرات اکثر مدل‌های هوش مصنوعی امروزی است، برای همه کارها بهینه است؟

نتایج این تحقیق نشان می‌دهد که معماری‌های استاندارد ترنسفورمر، همیشه «بهترین گزینه» (Local Optimum) نیستند. محققان با ارائه روشی برای جایگزینی توابع غیرخطی با مدل‌های یادگیری‌محور، به معماری‌های اختصاصی رسیده‌اند که در وظایف الگوریتمی، سرعت یادگیری و پایداری بسیار بالاتری دارند.

اگرچه این تغییرات باعث می‌شود مدل‌ها «تخصصی‌تر» شوند و خاصیت همه‌کاره بودن خود را تا حدی از دست بدهند، اما این یافته‌ها دریچه‌ای جدید برای طراحی معماری‌های بهینه‌تر در آینده باز می‌کند. به‌نظر می‌رسد برای رسیدن به نسل بعدی هوش مصنوعی، باید از طراحی‌های ثابت فراتر برویم!

منبع: arXiv Machine Learning