محققان در مقالهای جدید، نگاهی متفاوت به نحوه عملکرد توابع فعالسازی (Activation Functions) در مدلهای یادگیری عمیق انداختهاند. این پژوهش با ارائه یک تفسیر ساختاری جدید از GELU، نشان میدهد که چگونه میتوان با استفاده از مفاهیم «تئوری موجودی تصادفی»، خانوادهای از توابع فعالسازی (شامل ReLU، SiLU و Swish) را به شکلی بهینهتر بازتعریف کرد.
این دستاورد نه تنها به درک عمیقتر ما از «گیتهای عصبی» کمک میکند، بلکه راهکارهای جدیدی برای طراحی مدلهای فشردهتر و کارآمدتر در بینایی ماشین و مدلهای زبانی پیش پای مهندسان میگذارد. تستهای اولیه نشان میدهد که استفاده از این «آستانههای یکنواخت» میتواند عملکرد مدلها را به شدت بهبود ببخشد.
منبع: arXiv Machine Learning