🧠 پل زدن میان دیدن و شنیدن؛ کشف قابلیت انتقال در مدل‌های چندوجهی

محققان در مطالعه جدید خود به نکته جذابی در مدل‌های چندوجهی یکپارچه (UMM) دست پیدا کرده‌اند: چطور می‌توان مهارت‌های «درک تصویر» را به «تولید تصویر» منتقل کرد بدون اینکه کیفیت خروجی افت کند؟

نتایج این تحقیق نشان می‌دهد که معماری مدل نقشی کلیدی دارد؛ مدل‌هایی که دارای ستون فقرات ترنسفورمر مشترک هستند، می‌توانند دانش خود را به راحتی بین این دو وظیفه جابجا کنند. این یعنی به‌جای آموزش مستقیم برای یک قابلیت خاص (مثل شمارش اشیا در تصویر)، می‌توان از دانشِ بخش درکِ مدل استفاده کرد تا کیفیت بخش تولید افزایش یابد. این رویکرد هوشمندانه نه‌تنها عملکرد مدل‌ها را دقیق‌تر می‌کند، بلکه از افت کیفیت ناشی از تغییر توزیع داده‌ها جلوگیری می‌کند. 🚀

‌های_چندوجهی

منبع: arXiv AI