محققان روش جدیدی به نام «Fractional-Fourier Mixture of Experts» یا به اختصار FRAME معرفی کردهاند که دنیای «Fine-tuning» مدلهای زبانی را متحول میکند.
این روش هوشمندانه، انتخاب فضای پردازش (فضای مکانی یا طیفی) را به خودِ مدل میسپارد. با استفاده از این تکنیک، مدلها میتوانند پارامترهای خود را بهینهتر از همیشه تنظیم کنند و کارایی بسیار بالاتری در کارهای ریاضی، کدنویسی و پردازش دانش داشته باشند؛ آن هم بدون افزایش هزینه محاسباتی چشمگیر!
این پیشرفت نشان میدهد که چطور با ترفندهای هوشمندانه در لایههای مدل، میتوان قدرت مدلهایی مثل LLaMA و Qwen را بیش از پیش تقویت کرد.
منبع: arXiv Machine Learning
