🧠 معماری ترنسفورمرها؛ کاهش پیچیدگی با رویکرد «تقارن»!

محققان در مقاله‌ای جدید به سراغ حل یکی از چالش‌های اصلی مدل‌های ترنسفورمر رفته‌اند: وجود داده‌های اضافی و «تقارن‌های تکراری» در لایه‌های مدل.

این پژوهش با معرفی یک چارچوب جدید تحت عنوان «کاهش تقارن» (Symmetry Reduction)، به جای تکیه بر روش‌های معمول، مستقیماً روی «ساختارهای رابطه‌ای» تمرکز کرده است. نتیجه این کار، کاهش اتلاف پارامترها و درک بهینه‌تر از نحوه یادگیری مدل است که می‌تواند در آینده به ساخت ترنسفورمرهای سبک‌تر و سریع‌تر منجر شود.

تلاش برای حذف بخش‌های غیرضروری در مغزهای مصنوعی، کلید دستیابی به مدل‌های هوشمندتر با انرژی مصرفی کمتر است. ⚡️

منبع: arXiv Machine Learning