طراحی بهینهساز (Optimizer) برای مدلهای سنگین یادگیری عمیق همیشه یکی از چالشهای فنی بزرگ بوده است. حالا محققان چارچوب نوآورانهای به نام OPTScientist را معرفی کردهاند که با استفاده از یک سیستم چندعاملی (Multi-Agent) متشکل از تئوریسین، طراح، مهندس و بازبین، به صورت خودکار بهینهسازهای جدید و بهینهتری را برای آموزش مدلهای ترنسفورمر کشف میکند.
این سیستم با ترکیب جستجوی تکاملی و زبانهای دامنه-محور (DSL)، محدودیتهای روشهای قدیمی را دور زده و موفق به کشف RS-MR شده است؛ یک بهینهساز جدید که سرعت و کارایی پیشآموزش مدلها را به شکل چشمگیری افزایش میدهد. قدمی بزرگ برای کاهش هزینهها و زمان آموزش مدلهای هوش مصنوعی! ⚡️
سازی
منبع: arXiv AI