محققان در مطالعهای جدید، روشی نوآورانه به نام «Deep Delta Learning» یا به اختصار DDL را برای بهبود معماری ترنسفورمرها معرفی کردند. 🧠
در مدلهای فعلی، آپدیتهای «باقیمانده» (residual updates) عمدتاً به صورت افزایشی انجام میشوند، اما DDL با استفاده از یک رویکرد ساختاریافته، به مدل اجازه میدهد تا بخشهایی از وضعیت خود را «بازنویسی» و هدفگذاری کند. به زبان ساده، این روش باعث میشود مدل در حین پردازش، کنترل دقیقتری روی حافظه و خروجی داشته باشد که در نهایت منجر به افزایش کیفیت مدلسازی زبان و بهبود عملکرد در کارهای مختلف میشود.
این پیشرفت میتواند راهکار جدیدی برای بهینهسازی حافظه و توان عملیاتی در مدلهای بزرگ زبانی (LLM) باشد. 💡
منبع: arXiv AI