🧠 واکاوی رفتارهای پیچیده در ترنسفورمرهای خطی!

محققان در یک پژوهش جدید، رفتارِ لایه‌های «خودتوجهی» (Self-Attention) در ترنسفورمرهای خطی را از زاویه‌ای متفاوت بررسی کرده‌اند. آن‌ها با مدل‌سازی توکن‌ها به‌عنوان ذرات در حال تعامل، موفق شدند شباهت‌های جالبی بین رفتار مدل‌های هوش مصنوعی و سیستم‌های دینامیکی پیچیده (مانند مدل‌های Kuramoto) پیدا کنند. 📊

این تحقیق نشان می‌دهد که دینامیکِ این مدل‌ها برخلاف پیچیدگی‌شان، ذاتاً کم‌بُعد است و پدیده‌هایی مثل خوشه‌بندی، نوسان و دوشاخه‌شدگی (Bifurcation) را در آن‌ها کشف کرده‌اند. این یافته‌ها درک ما را از معماری ترنسفورمرها که پایه و اساس مدل‌های زبانی بزرگ هستند، عمیق‌تر می‌کند. 🚀

منبع: arXiv Machine Learning