آیا تا به حال به فکر کاهش مصرف حافظه هنگام آموزش مدلهای هوش مصنوعی بودهاید؟ محققان بهتازگی راهکار جدیدی به نام «Ember» معرفی کردهاند که بهینهسازی لایههای Embedding و LM-head را هدف قرار داده است.
این ابزار جذاب که به صورت متنباز (Open Source) عرضه شده، با استفاده از هندسه گرادیان خاص، حافظه مصرفی را به شکل چشمگیری کاهش میدهد و برخلاف بهینهسازهای سنتی مثل Adam، نیازی به شاردینگ (Sharding) سنگین ندارد. 🧠💡
نکته جالب اینجاست که Ember بهراحتی با سیستمهای توزیعشده مثل FSDP و ZeRO ادغام میشود تا فرآیند آموزش مدلها سریعتر و بهینهتر پیش برود. اگر توسعهدهنده هستید یا در حوزه تحقیق روی LLMها فعالیت میکنید، بررسی این پروژه در گیتهاب پیشنهاد میشود.
🔗 لینک پروژه: https://github.com/katop1234/ember
نویسی
منبع: arXiv AI