یکی از چالشهای بزرگ مدلهای VLM، حجم سنگین توکنهای بصری و مصرف بالای منابع پردازشی است. حالا محققان متد جدیدی به نام TORINO را معرفی کردهاند که بدون نیاز به آموزش مجدد (Fine-tuning)، این مشکل را حل میکند.
✨ چرا TORINO خاص است؟
این فریمورک با استفاده از «خودرمزگذارهای تنک» (Sparse Autoencoders)، توکنهای بصری را در یک فضای مفهومی قابلتفسیر قرار میدهد. TORINO به جای روشهای سنتی، توکنهای اضافی را بر اساس «همپوشانی مفاهیم» شناسایی کرده و آنها را به صورت هوشمند ادغام یا حذف میکند. نتیجه؟ کاهش قابلتوجه محاسبات در کنار حفظ دقت بالا برای پردازش تصاویر.
این پیشرفت میتواند راه را برای اجرای سریعتر و سبکتر مدلهای بینایی روی دستگاههای مختلف هموارتر کند. 💡
منبع: arXiv AI