محققان انویدیا مدل فشرده و فوقبهینه جدیدی به نام «Puzzle-75B-A9B» را معرفی کردهاند که دنیای استقرار مدلهای بزرگ (LLM) را متحول میکند. این مدل که نسخهای بهینهسازیشده از Nemotron-3 است، با تکنیکهای پیشرفتهای مثل فشردهسازی MoE، تقطیر دانش (Knowledge Distillation) و یادگیری تقویتی ساخته شده است.
چرا این خبر مهم است؟
✅ افزایش ۲ برابری توان عملیاتی سرور (Throughput) برای سرویسدهی تعاملی.
✅ افزایش چشمگیر ظرفیت پردازش متون طولانی (تا ۸ برابر در محیطهای واقعی).
✅ حفظ دقت بالا در کنار کاهش چشمگیر هزینههای محاسباتی.
این دستاورد نشان میدهد که آینده هوش مصنوعی در گروِ مدلهای سبکتر، اما همچنان قدرتمند است که میتوانند روی سختافزارهای محدودتر، عملکردی در سطح مدلهای غولپیکر ارائه دهند. 💡
منبع: arXiv AI