محققان تکنیک جدیدی به نام «SmartMixed» معرفی کردهاند که میتواند انقلابی در ساختار شبکههای عصبی ایجاد کند. تا امروز، اکثر شبکههای عصبی از یک تابع فعالساز ثابت برای تمام نورونها استفاده میکردند، اما با SmartMixed، هر نورون این فرصت را دارد که بهترین تابع فعالساز را برای خودش انتخاب کند!
این روش دو مرحلهای باعث میشود:
۱. شبکه بهینهترین ساختار را برای یادگیری پیدا کند.
۲. در زمان اجرا (Inference)، همچنان سریع و کارآمد باقی بماند.
نتایج اولیه نشان میدهد که نورونها در لایههای مختلف ترجیحات متفاوتی دارند و این یعنی معماریهای انعطافپذیرتر و هوشمندتر در آینده نزدیک. دنیای یادگیری عمیق هر روز پیچیدهتر و دقیقتر میشود! 🚀
منبع: arXiv AI