در دنیای پرشتاب هوش مصنوعی، اخیراً صحبت از معماریهای جدیدی به نام «شبکههای کولموگوروف-آرنولد» (KAN) داغ شده است. اما آیا این ساختارها واقعاً بهتر از مدلهای فعلی عمل میکنند؟
پژوهش جدیدی با بررسی دقیق KANها در ابعاد کوچک (Small Language Models) نتایج جالبی داشته است: اگرچه این معماری به دلیل قابلیت تفسیرپذیری بالا و جایگزینی توابع فعالساز در لبهها، ابزار جذابی برای تحلیل و بازرسیِ مدلهاست، اما در بنچمارکهای استاندارد هنوز نتوانسته برتری خیرهکنندهای نسبت به معماریهای سنتی مانند MLP یا SwiGLU نشان دهد.
به نظر میرسد KANها فعلاً در جایگاه یک مکمل عالی برای درک بهترِ آنچه در لایههای مدل میگذرد باقی میمانند تا جایگزین قطعیِ ترنسفورمرهای غولآسا.
منبع: arXiv AI