تا امروز بیشتر تمرکز تحقیقات روی مدلهای ترنسفورمر بود، اما حالا محققان در یک پژوهش جدید، «مکانیسم القایی» (Induction) در مدلهای دیفیوژن (DLMs) را زیر ذرهبین بردهاند.
نتیجه جالب این است: این مدلها برخلاف مدلهای معمول، یک «مدار القایی دوطرفه» دارند؛ یعنی میتوانند همزمان از بافتِ قبل و بعدِ کلمه استفاده کنند تا پاسخ را دقیقتر حدس بزنند. همچنین کشف شد که این مدلها حتی بدون دریافت اطلاعات زمانی (Timestamp)، میتوانند زمان را در فرآیند تولید متن درک کنند!
این یافتهها درک ما از معماریهای جایگزینِ مدلهای متنی را وارد مرحله جدیدی میکند.
منبع: arXiv AI