محققان در مقالهای جدید، چارچوب ریاضی نوآورانهای تحت عنوان «مدلهای زبانی درجهبندیشده» (GLLM) ارائه کردهاند. این روش با استفاده از هندسه جبری و تغییر در ساختار لایههای ترنسفورمر، مدلها را به گونهای بهینهسازی میکند که بدون افزایش هزینه محاسباتی یا کاهش کیفیت، بازدهی بهتری در یادگیری و استنتاج داشته باشند.
در این رویکرد، معماری استاندارد ترنسفورمرها به عنوان یک نقطه مرزی در یک خانواده بزرگتر از مدلهای درجهبندیشده دیده میشود که میتواند عملکرد بهینهتری را نسبت به مدلهای فعلی ارائه دهد. این یک گام مهم برای درک عمیقتر از فضای پنهان مدلهای زبانی است! 🧠✨
منبع: arXiv Machine Learning