محققان در تازهترین پژوهش خود به بررسی محدودیتهای روشهای «تقطیر دادهمحور» در مدلهای تولیدی (Generative) پرداختهاند. این مطالعه نشان میدهد که چرا روشهای کلاسیک که در مدلهای طبقهبندیکننده (Classifier) عالی عمل میکنند، در مدلهای دارای گلوگاه (Bottleneck) مثل اتوانکودرها دچار مشکل میشوند.
تیم تحقیق با تحلیلِ معماریِ دکودرها و نحوه تعامل ویژگیهای آنها، ثابت کردند که استفاده از اهدافِ جستجوی مرز (Boundary-seeking) در این معماریها باعث تعارضهای شدید گرادیان میشود. آنها در نهایت راهکارهایی مبتنی بر «سنتزِ آگاه از منیفولد» پیشنهاد دادهاند که میتواند جایگزین دقیقتری برای آموزش مدلهای دانشآموز باشد.
این تحقیق گام مهمی در جهت بهبودِ فشردهسازی و انتقال دانش در مدلهای پیشرفته هوش مصنوعی به شمار میرود. 🧠📈
منبع: arXiv AI