تا حالا فکر کردید که چطور یک مدل هوش مصنوعی میتواند مهارتهای مدل دیگر را بدون آموزش مستقیم یاد بگیرد؟ محققان در مطالعه جدید خود به پدیدهای به نام «انتشار ویژگیهای پنهان» (Covert Trait Propagation) پرداختند.
در این تحقیق مشخص شده که وقتی مدلهای «دانشآموز» و «معلم» هممقداردهی اولیه میشوند، مدل دانشآموز میتواند ویژگیهای کلیدی معلم را از طریق «دروازههای هندسی» جذب کند. این یعنی اطلاعات در شبکههای عصبی فقط به صورت داده نیستند، بلکه هندسه وزنها نقشی حیاتی در انتقال توانمندیها بازی میکند.
این یافته به ما کمک میکند تا بهتر بفهمیم چرا مدلهای زبانی بزرگ (LLMs) در زمان آموزشهای تکمیلی (Alignment) رفتارهای خاصی را از خود نشان میدهند و چطور میتوان این فرآیند را دقیقتر کنترل کرد.
منبع: arXiv AI