آیا تا به حال به این فکر کردهاید که چطور میتوان مدلهای سنگین بینایی ماشین (Vision Transformers) را بدون کاهش دقت، سریعتر کرد؟
محققان در پژوهشی جدید روشی به نام HetDPT را معرفی کردهاند که با درک تفاوتهای ساختاری بین لایههای مختلف مدل، به جای حذفهای کورکورانه، دست به هرس کردن هوشمندانه (Depth Pruning) میزند. نتیجه کار فوقالعاده است: این روش موفق شده سرعت مدلهای بزرگی مثل DeiT را تا ۱.۵ برابر افزایش دهد، آن هم بدون اینکه دقت مدل افت محسوسی داشته باشد! این یعنی قدمی بزرگ برای اجرای مدلهای پیشرفته روی دستگاههای معمولی.
اگر برنامهنویس یا محقق حوزه یادگیری عمیق هستید، کدهای این پروژه را در گیتهاب بررسی کنید.
منبع: arXiv AI