محققان در پژوهشی جدید، معماری نوآورانهای به نام «Phase-Coherent Transformer» (به اختصار PCT) معرفی کردهاند که فراتر از محدودیتهای مدلهای ترنسفورمر رایج عمل میکند.
🔹 چرا این خبر مهم است؟
مدلهای ترنسفورمر فعلی برای محاسبات از روشهای استاندارد (Real-valued) استفاده میکنند، اما در این مدل جدید با استفاده از محاسبات «مختلط» (Complex-valued) و جایگزینی رقابت بین توکنها با مکانیزمهای پیشرفتهتر، حفظ اطلاعات فاز در لایهها بهینه شده است.
این مدل جدید در بنچمارکهای مختلف، از جمله بازیابی اطلاعات طولانی (Long-range retrieval) و پردازش متن، عملکردی خیرهکننده داشته و توانسته رقبای سرسخت خود را پشت سر بگذارد. قدمی رو به جلو برای مدلهایی که نیاز به دقت در بازههای طولانی دارند! 🧠💡
منبع: arXiv Machine Learning