تا حالا فکر کردید چرا شبکههای عصبیِ جهشی (SNN) تا این حد در مصرف انرژی بهینه هستند؟ یک مقاله جدید و جذاب در arXiv منتشر شده که پرده از یک واقعیت مهم برمیدارد: برخلاف تصور عموم، صرفهجویی در انرژی همیشه به ذاتِ مدل برنمیگردد، بلکه به «ماهیت وظیفه» (Task) وابسته است!
محققان در این پژوهش نشان دادند که در وظایف ساده، میتوان نرخ فعالیت مدل را تا ۵٪ بدون افت دقت کاهش داد، اما در مدلهای زبانیِ پیچیده، این عدد به حدود ۵۰٪ میرسد. در واقع، این تحقیق یک «سقفِ پراکندگی» (Sparsity Ceiling) برای مدلها تعریف کرده و توضیح میدهد که چطور معماریهایی مثل ترنسفورمرها با استفاده از حافظه، سعی میکنند این محدودیتها را دور بزنند.
این یافتهها برای آینده سختافزارهای نورومورفیک (Neuromorphic) بسیار کلیدی است و به ما میگوید کجا باید منتظرِ واقعیترین بازدهی انرژی باشیم. 🧠💡
منبع: arXiv Machine Learning