محققان مدل جدیدی به نام CARD را معرفی کردهاند که دنیای «تولید کپشن برای فایلهای صوتی» را متحول میکند. برخلاف مدلهای فعلی که برای پردازش صوت به انکودرهای سنگین و پیچیده وابسته هستند، CARD یک معماری «Encoder-Free» دارد.
ویژگیهای کلیدی:
🔹 حذف انکودر در زمان استنتاج (Inference) برای افزایش سرعت و کاهش هزینههای محاسباتی.
🔹 استفاده از استراتژی تقطیر (Distillation) برای انتقال دانش از مدلهای صوتی قدرتمند به یک مدل زبانی بزرگ (LLM).
🔹 عملکرد درخشان در بنچمارکهای AudioCaps و Clotho با وجود حذف کامل انکودر!
این تحقیق نشان میدهد که چگونه با جایگذاری هوشمندانه دانش در بخشهای مختلف مدل (پرژکتور و LLM)، میتوان کارایی را بدون افت کیفیت بالا برد.
منبع: arXiv NLP