محققان در تازهترین دستاورد خود، چارچوبی به نام «PyroDash» معرفی کردهاند که میتواند هزینه اجرای مدلهای زبانی بزرگ (LLM) را به شدت کاهش دهد. چالش اصلی اینجاست که مدلهای بزرگ بسیار دقیق اما پرهزینه هستند، در حالی که مدلهای کوچک (SLM) ارزانترند اما در حل مسائل پیچیده ضعیفتر عمل میکنند.
PyroDash چگونه کار میکند؟ 🤔
این سیستم به مدل کوچک اجازه میدهد تا در لحظه تصمیم بگیرد چه زمانی به کمک مدل بزرگ نیاز دارد. این همکاری هوشمندانه بدون نیاز به آموزش مجدد مدل بزرگ یا تغییرات پیچیده، باعث میشود دقت مدل در استدلالهای ریاضی حفظ شود و در عین حال هزینههای پردازشی تا ۹۶٪ کاهش یابد! 📉💰
این یعنی در آیندهای نزدیک، اپلیکیشنهای هوش مصنوعی میتوانند با سرعت و قیمت بسیار پایینتری به خدمات حرفهایتری دسترسی پیدا کنند.
منبع: arXiv NLP