محققان در مقالهای جدید، راهکار نوآورانهای به نام «HiFloat4» و «Rollout-ResQ» را معرفی کردهاند که دنیای آموزش مدلهای زبانی (LLMs) را دگرگون میکند.
تا به امروز، آموزش مدلها در دقت ۴ بیتی (FP4) با چالشهای بزرگی مثل افت دقت مواجه بود، اما این متد جدید با مدیریت هوشمندِ خطاهای محاسباتی در حین آموزش، توانسته است عملکرد مدلها را به شدت به دقتهای بالاتر (مثل BF16) نزدیک کند.
این دستاورد یعنی:
✅ کاهش چشمگیر هزینههای محاسباتی
✅ حفظ کیفیت بالای مدل در سختافزارهای محدودتر
✅ گامی بزرگ به سوی اجرای هوش مصنوعی قدرتمند روی دستگاههای ضعیفتر
تکنولوژی به سرعت در حال سبکتر شدن است؛ آیا بهزودی مدلهای عظیم را روی موبایلهایمان خواهیم داشت؟ نظر شما چیست؟
منبع: arXiv AI