محققان در مقاله جدیدی روشی نوآورانه به نام «SAD-LoRA» (تقطیر همترازی طیفی) را معرفی کردهاند که تحولی در فشردهسازی مدلهای هوش مصنوعی ایجاد میکند.
در روشهای سنتیِ تقطیر دانش (KD)، کنترل دقیقی روی فضای وزنهای تطبیقدهنده (Adapter) وجود ندارد؛ اما SAD-LoRA با استفاده از «همترازی طیفی»، زیرفضای بهینه را انتخاب کرده و در طول فرآیند آموزش حفظ میکند. نتیجه؟ کاهش چشمگیر خطای تقطیر و افزایش کارایی مدلهای فشرده (مثل تبدیل RoBERTa-large به base) که در تسکهای پردازش زبان طبیعی، عملکرد خیرهکنندهای از خود نشان داده است.
این یعنی مدلهای هوش مصنوعی با حجم کمتر، میتوانند هوشمندتر و دقیقتر عمل کنند! 🧠✨
منبع: arXiv Computer Vision