آیا آموزش مدلهای هوش مصنوعی روی دادههای ناهمگون (Heterogeneous) چالش بزرگی برایتان است؟ محققان بهتازگی روشی به نام FedACT را معرفی کردهاند که دنیای یادگیری فدرال (Federated Learning) را متحول میکند.
این روش با بهرهگیری از «تعدیل اعتماد مختصاتی»، دقت مدلهای ترنسفورمر را در شرایطی که دادهها از منابع مختلف و متنوع میآیند، بهطور محسوسی افزایش میدهد. نتایج نشان میدهد FedACT نه تنها در پیشآموزش مدلهای زبانی (LLM) بلکه در تنظیم دقیق آنها نیز عملکردی خیرهکننده دارد و مشکل ناهماهنگی در بهروزرسانی پارامترها را حل میکند.
این نوآوری گام بزرگی برای افزایش کارایی و پایداری در سیستمهای یادگیری توزیعشده است. 💡
منبع: arXiv AI