مدلهای Diffusion Transformer در دنیای هوش مصنوعی غوغا کردهاند، اما معمولاً بعد از تولید یک تصویر، تمام دانش و دادههای میانی آنها دور ریخته میشود. حالا در مقاله جدیدی از «MMDiff»، پژوهشگران راهی پیدا کردهاند که این مدلها را به یک سیستم چندمنظوره قدرتمند تبدیل کنند.
این مدل جدید نه تنها تصاویر فوقالعادهای میسازد، بلکه با استفاده از دکودرهای سبک، کارهای تخصصیتری مثل تحلیل بخشبندی معنایی (Semantic Segmentation)، تشخیص اشیاء و تخمین عمق را هم با دقت خیرهکنندهای انجام میدهد. جالبتر اینکه این روش، عملکردی قابل رقابت با مدلهای غولپیکری مثل DINOv3 دارد بدون اینکه نیاز به آموزش کل مدل داشته باشد! 🚀
این یک قدم بزرگ برای استفاده بهینهتر از مدلهای مولد در دنیای بینایی ماشین است.
منبع: arXiv Computer Vision