🔍 کشف معمای آموزش مدل‌های مولد: نگاهی عمیق به دینامیک یادگیری

مدل‌های مبتنی بر امتیاز (Score-based Generative Models) این روزها در تولید داده غوغا کرده‌اند، اما پشت پرده بهینه‌سازی و آموزش آن‌ها با گرادیان تصادفی (SGD) همچنان پرسش‌های بی‌پاسخی وجود دارد.

در پژوهش جدیدی که به‌تازگی منتشر شده، محققان برای اولین بار نرخ همگرایی SGD را برای این مدل‌ها تحلیل کرده‌اند. این مقاله دو دستاورد مهم دارد:
✅ ارائه نرخ همگرایی برای مدل‌های کلی با هدف‌گذاری خاص روی تابع «امتیاز‌دهی نویز‌زدا».
✅ استفاده از تحلیل هسته مماس عصبی (NTK) برای مدل‌های شبکه‌ای دو لایه که دقت تخمین امتیاز را در طول مسیر آموزش مشخص می‌کند.

این تحقیق گامی بلند برای درک بهتر نحوه آموزش مدل‌های دیفیوژن و انتخاب هوشمندانه‌تر وزن‌دهی در دنیای واقعی است. برای متخصصان حوزه یادگیری ماشین، خواندن این مقاله یک ضرورت است! 🧠💻

منبع: arXiv Machine Learning