محققان در یک پژوهش جدید و بسیار فنی، به بررسی ساختار درونی «مکانیزم توجه» (Attention Head) در مدلهای زبانی بزرگ پرداختهاند. این مطالعه نشان میدهد که ماتریسهای یادگیری در این مدلها، مانند یک «اثر انگشت» عمل میکنند که بسته به نوع روش موقعیتدهی (Positioning Scheme)، رفتار متفاوتی از خود نشان میدهند.
نکته جالب اینجاست که این مدلها در ابتدا بهصورت تصادفی رفتار میکنند و الگوهای پیچیده (مانند induction circuits) همزمان با یادگیری و کسب توانمندی، در آنها شکل میگیرد. این تحقیق درک ما را از نحوه پردازش توالیها در ترنسفورمرها عمیقتر میکند.
منبع: arXiv Machine Learning
