آیا تا به حال فکر کردهاید که چرا شبکههای عصبی تا این حد در خوشهبندی دادهها و تشخیص الگوها موفق عمل میکنند؟ پژوهش جدیدی با عنوان “Gradient Descent as Implicit EM” منتشر شده که پرده از یک واقعیت جالب برمیدارد.
این مقاله ثابت میکند که یادگیری در اکثر مدلهای عصبی (از توجه یا Attention گرفته تا مدلهای طبقهبندی)، در واقع اجرای ضمنیِ الگوریتم “انتظار-بیشینهسازی” یا همان EM است. به عبارت سادهتر، گرادیانهایی که مدل در طول آموزش محاسبه میکند، همان “مسئولیتهای آماری” (Posterior Responsibilities) هستند که به صورت مستقیم در جهت بهینهسازی مدل به کار گرفته میشوند.
این کشف نظری، پلی میان دنیای آمار کلاسیک و یادگیری عمیق مدرن برقرار کرده و درک ما از چراییِ عملکردِ سیستمهای هوش مصنوعی را یک پله ارتقا میدهد.
منبع: arXiv Machine Learning