محققان در یک دستاورد فنی جدید، راهکاری برای حل «سهگانه مدلهای MoE» (ترکیب متخصصها) ارائه دادند. تا پیش از این، این مدلها با چالشهایی مثل توزیع ناعادلانه بار محاسباتی، افزونگی پارامترها و سرعت پایین ارتباطی دست و پنجه نرم میکردند.
این روش جدید که با نام «خوشهبندی پویا و فشردهسازی ساختاریافته» معرفی شده، با دستهبندی هوشمند متخصصها و کاهش بار پردازشی، باعث میشود مدلهای بزرگ زبانی بسیار بهینهتر عمل کنند. نتیجه؟ دقت مشابه مدلهای قبلی، اما با سرعت بسیار بالاتر و مصرف حافظه کمتر که میتواند به آموزش سریعتر و ارزانتر هوش مصنوعی کمک زیادی کند! 🧠💡
منبع: arXiv AI