🧠 فراتر از محدودیت‌ها؛ کشف مفهوم «محاسبات در سوپرپوزیشن» در شبکه‌های عصبی

محققان در یک پژوهش جدید، مرزهای یادگیری عمیق را جابه‌جا کرده‌اند! تا به امروز می‌دانستیم شبکه‌های عصبی می‌توانند مفاهیم را در «سوپرپوزیشن» (Superposition) ذخیره کنند، اما حالا مشخص شده که آن‌ها می‌توانند محاسبات را هم فراتر از ظرفیت فیزیکی نورون‌هایشان انجام دهند.

نکته کلیدی این پژوهش، استفاده از تابع زیان (Loss) به نام $L^4$ به جای تابع متداول $L^2$ است. این تغییر ساده باعث شده شبکه عصبی یاد بگیرد چگونه ۱۰۰ ویژگی مختلف را با تنها ۵۰ نورون پردازش کند! در واقع، این مدل با رمزگذاری ویژگی‌ها به صورت کدهای باینری، عملاً در حال انجام محاسباتی است که پیش از این غیرممکن تصور می‌شد.

این دستاورد می‌تواند راه را برای طراحی مدل‌های هوش مصنوعی بسیار فشرده‌تر و کارآمدتر باز کند. آینده مدل‌های عصبی قطعاً هیجان‌انگیزتر از چیزی است که فکر می‌کنیم! 🚀

منبع: arXiv Machine Learning