محققان در یک پژوهش جدید، رویکرد متفاوتی را برای درک نحوه عملکرد «یادگیری درونمتنی» در مدلهای ترنسفورمر بررسی کردهاند. برخلاف باور رایج که یادگیری درونمتنی را مبتنی بر الگوریتمهای گرادیان میداند، این مقاله نشان میدهد که میتوان با استفاده از لایه نرمالسازی (Layer Normalization) و مدلهای ترنسفورمر با توجه خطی (Linear Self-Attention)، به حل مسائل رگرسیون خطی از طریق یک «حل بسته» (Closed-form Solution) رسید. این یافته گام مهمی در جهت شفافسازی و تفسیرپذیری جعبهسیاه مدلهای هوش مصنوعی است. 🤖📐
منبع: arXiv AI