محققان در مقالهای بسیار مهم و چالشبرانگیز به بررسی محدودیتهای بنیادی مدلهای زبانی بزرگ (LLM) پرداختند. این پژوهش با نگاهی ریاضی نشان میدهد که معماری فعلی ترنسفورمرها (Transformers) به دلیل محدودیتهای کلاس پیچیدگی محاسباتی (TC⁰)، احتمالاً قادر نیستند «تعمیم ساختاری» (Structural Generalization) را به صورت خودکار از دادهها یاد بگیرند.
نکته جالب اینجاست که سیستمهای «نورو-سمبلیک» (ترکیب شبکه عصبی و منطق نمادین) که امروزه در بنچمارکها میدرخشند، در واقع با «تقلب» و تزریق قوانین از پیش تعریف شده به جای یادگیری واقعی، این محدودیت را دور میزنند. این مقاله زنگ خطری برای محققان است که بین «یادگیری واقعی» و «تقلید از ساختار» تفاوت قائل شوند.
این یافتهها میتواند مسیر آینده معماریهای هوش مصنوعی را به کلی تغییر دهد.
منبع: arXiv Machine Learning