🧠 رمزگشایی از یادگیری ترنسفورمرها؛ مدل‌ها چگونه یاد می‌گیرند؟

محققان در پژوهش جدیدی به بررسی چگونگی تکامل الگوهای توجه (Attention Patterns) در مدل‌های ترنسفورمر پرداخته‌اند. یافته‌های این مطالعه نشان می‌دهد که ترنسفورمرها مفاهیم پیچیده را به صورت مرحله‌ای یاد می‌گیرند.

🔹 نکات کلیدی این پژوهش:
این فرآیند یادگیری شامل دو مرحله اصلی است:
۱. مرحله رقابتی: جایی که تمام «سرها» (Heads) روی بخش‌های مهم آماری تمرکز می‌کنند.
۲. مرحله مشارکتی: جایی که هر بخش از مدل به صورت تخصصی روی الگوهای متفاوت متمرکز می‌شود.

این تحقیق با ارائه یک مدل ریاضی برای این پویایی‌ها، به ما کمک می‌کند تا درک بهتری از نحوه ظهور رفتارهای هوشمند در مدل‌های زبانی بدون نیاز به آموزش صریح (Curriculum) داشته باشیم. دانشی که راه را برای ساخت مدل‌هایی با قدرت تعمیم‌دهی بالاتر باز می‌کند.

منبع: arXiv Machine Learning