دانشمندان متد جدیدی به نام LP-SFT معرفی کردند که یک چالش بزرگ در آموزش مدلهای زبانی (SFT) را حل میکند. معمولاً وقتی مدلها را برای هدف خاصی آموزش میدهیم، قابلیتهای قبلی و دانش عمومیشان را فراموش میکنند. این روش جدید با حفظ «ساختار آنتروپی» مدل، اجازه نمیدهد دانش قبلی در فرآیند یادگیری جدید تخریب شود.
به زبان ساده: این تکنیک باعث میشود مدل بدون اینکه گیج شود یا مهارتهای قدیمیاش را از دست بدهد، در وظایف جدید دقیقتر عمل کند. 🚀
منبع: arXiv Machine Learning