محققان در یک پژوهش علمی جدید، ابزاری به نام «Transformer Geometry Observatory-II» (یا به اختصار TGO-II) را معرفی کردهاند که برای درک بهتر نحوه تغییر و تکامل بازنماییهای هندسی در مدلهای «ویژن ترنسفورمر» (ViT) طراحی شده است.
این ابزار با تحلیل دقیق لایههای مدل در طول آموزش، سه نکته کلیدی را روشن کرده است:
۱. با پیشرفت آموزش، تخصصیسازی لایهها افزایش مییابد.
۲. ابعاد درونی بازنماییها ابتدا افزایش یافته و سپس به ثبات میرسد.
۳. ساختار تعامل بین توکنها در طول فرآیند آموزش کاملاً حفظ میشود.
این نوع پژوهشها به ما کمک میکند تا بفهمیم مدلهای هوش مصنوعی واقعاً در «ذهن» دیجیتالی خود چه فرآیندهایی را طی میکنند تا به نتایج دقیق برسند. 💡
منبع: arXiv Machine Learning
