محققان در یک دستاورد فنی مهم، روشی به نام «Spectron» را معرفی کردهاند که آموزش مدلهای زبانی بزرگ (LLM) را متحول میکند. تا پیش از این، آموزش مدلها با استفاده از وزنهای «کمرتبه» (Low-rank) اغلب با ناپایداری و اختلال مواجه بود، اما این متد جدید با استفاده از «بازبهنجارش طیفی»، اجازه میدهد مدلها از همان ابتدا بدون نیاز به روشهای پیچیده و پرهزینه، به شکلی پایدار و بهینه آموزش ببینند.
نتیجه این کار چیست؟ مدلهایی با کارایی بالاتر در استنتاج (Inference) و هزینههای محاسباتی کمتر که مسیر را برای ساخت مدلهای قدرتمندتر با منابع محدودتر هموار میکند. پیشرفتهای اینچنینی کلید آینده هوش مصنوعی سبکتر و سریعتر هستند! ⚡
منبع: arXiv Machine Learning