محققان در یک پژوهش جدید، چارچوب نوآورانهای به نام DataOrchestra را معرفی کردهاند که انقلابی در پیشآموزش مدلهای زبانی (LLMs) ایجاد میکند.
مشکل روشهای فعلی این است که دادهها را به صورت کلی و یکسان پردازش میکنند، اما DataOrchestra برای هر نمونه (Example) به صورت اختصاصی تصمیم میگیرد:
✅ حذف، حفظ یا پاکسازی دادهها
✅ استفاده از ابزارهای برنامهنویسی یا هوش مصنوعی برای بازنویسی دقیق دادهها
نتیجه؟ مدلهایی با عملکرد بسیار بهتر در بنچمارکهای مختلف و البته صرفهجویی چشمگیر در هزینههای محاسباتی! انگار که برای هر قطعه داده، یک «ارکستر» اختصاصی برای بهینهسازی آن تشکیل شده باشد. 🎼🤖
منبع: arXiv NLP
