محققان در مقاله جدیدی روشی انقلابی به نام «KV-Cache Grafting» معرفی کردهاند که میتواند مدلهای زبانی کوچک را بدون تغییر در وزنها، فوقالعاده هوشمندتر و کمهزینهتر کند.
💡 این تکنولوژی چطور کار میکند؟
به جای محاسبات سنگین و تکراری، دانش تایید شده به صورت یک «Artifact» ذخیره و در لحظه به حافظه مدل تزریق میشود. نتیجه؟
✅ کاهش چشمگیر هزینههای انرژی (تا ۸۷۰۰ برابر کمتر!)
✅ افزایش دقت در حل مسائل پیچیده (بهبود از ۸۰٪ به ۹۳٪ در آزمونهای دشوار)
✅ گسترش ظرفیت حافظه متن (Context) تا بیش از ۲.۸ میلیون توکن بدون نیاز به سختافزار اضافه!
این یک قدم بزرگ برای استفاده از هوش مصنوعی قدرتمند روی سیستمهای معمولی است که میتواند هزینههای پردازش مدلهای بزرگ را برای همیشه تغییر دهد.
سازی
منبع: arXiv Machine Learning