تا به حال فکر کردهاید که چطور میتوان کیفیت آموزش مدلهای زبانی (LLM) را بدون هدر دادن منابع سنگینِ محاسباتی بالا برد؟ محققان در مقاله جدیدی، فریمورک «DomainPilot» را معرفی کردهاند که تحولی در «ترکیب دادههای آموزشی» (Data Mixture Optimization) ایجاد میکند.
💡 چرا DomainPilot مهم است؟
روشهای فعلی معمولاً در مقیاسهای بزرگ کند هستند یا نیاز به مدلهای کمکی پیچیده دارند. DomainPilot با استفاده از نظارت بر ضرر (Loss) در سطح دامین (حوزه)، به صورت دو مرحلهای و با استفاده از «قوانین مقیاسبندی»، ترکیب دادهها را بهینه میکند تا مدل بهترین یادگیری را داشته باشد. نکته جذاب اینجاست که این معماری با تنها ۳۰ خط کد به راحتی روی فریمورکهای معروفی مثل Megatron-LM قابل پیادهسازی است!
این یعنی در آیندهای نزدیک، آموزش مدلهای تخصصیتر، سریعتر و کمهزینهتر خواهد شد.
منبع: arXiv Machine Learning