محققان در تازهترین دستاورد خود، راهکاری خلاقانه به نام «Dysco» برای رفع چالشهای آموزش مدلهای بزرگ در محیطهای «یادگیری فدرال» (Federated Learning) معرفی کردهاند.
در آموزش فدرال، وقتی چندین کاربر مدلهای خود را با تکنیک LoRA تنظیم میکنند، تداخل دادهها و پارامترها باعث ناپایداری میشود. Dysco با استفاده از «تقویت زیرفضای پویا»، فضای اختصاصی هر کاربر را به شکلی هوشمندانه مدیریت کرده و تداخلات را به حداقل میرساند.
این روش نه تنها پایداری آموزش را بالا میبرد، بلکه دقت مدلها را در سناریوهای پیچیده، از جمله کاربردهای پزشکی، به طرز چشمگیری افزایش میدهد. قدمی مهم برای توسعه مدلهای قدرتمندتر و خصوصیتر! 🧠✨
منبع: arXiv Machine Learning