محققان در مطالعهای جدید و پیشثبتشده (Preregistered)، به سراغ مدل «Gemma 2 2B» رفتهاند تا رابطهی بین ویژگیهای فعال در «رمزگذارهای خودکار پراکنده» (SAE) و مفهوم «هولونومی» (Holonomy) را بررسی کنند.
نتایج این تحقیق جالب است: برخلاف پیشبینیهای قبلی، مشخص شد که صفحات ویژگیهای فعال (Active Feature Planes) در این مدل، برخلاف انتظار، هولونومی کمتری نسبت به گروههای کنترل دارند! این کشف، فرضیه «تمرکز معنایی» را به چالش میکشد و نشان میدهد که هنوز درک ما از هندسه داخلی مدلهای زبانی، فضای زیادی برای اکتشاف دارد.
این تحقیق نشان میدهد که دنیای تفسیرپذیری (Interpretability) هوش مصنوعی چقدر پیچیده و در عین حال هیجانانگیز است. نظر شما چیست؟ آیا باید برای درک دقیقتر مدلها، بیشتر به هندسه و ریاضیات نهفته در آنها تکیه کنیم؟
منبع: arXiv Machine Learning