محققان در مقالهای جدید، قطعات معماری سبکوزنی به نام Canon Layers را معرفی کردهاند که میتواند بازی را در طراحی مدلهای هوش مصنوعی تغییر دهد. این لایهها با بهبود جریان اطلاعات بین توکنهای مجاور، به مدلها کمک میکنند تا:
✅ استدلال عمیقتر و گستردهتری داشته باشند.
✅ قدرت پردازش مدلهای ضعیفتر (مثل NoPE) را به سطح مدلهای پیشرفته (مثل RoPE) برسانند.
✅ در معماریهای مختلف مانند Mamba2 یا ترنسفورمرها به سادگی یکپارچه شوند.
این نوآوری راهکاری هوشمندانه برای درک بهتر معماری مدلهاست و میتواند آینده آموزش مدلهای زبانی را پیشبینیپذیرتر و بهینهتر کند.
منبع: arXiv NLP