محققان بالاخره پرده از معمای بزرگی برداشتند: چرا مدلهای زبانی امروزی در «یادگیری درونزمینه» (In-context learning) اینقدر عالی عمل میکنند؟ پاسخ در ساختارهای خاصی به نام «Induction Heads» نهفته است.
در این پژوهش جدید، دانشمندان فرمول سادهای پیدا کردند که پیشبینی میکند این «مغزهای کوچک» دقیقاً چه زمانی در فرآیند آموزش مدل ظاهر میشوند! نکته جالب اینجاست که این زمان ظهور، به اندازه مدل بستگی ندارد و بیشتر تحت تاثیر تکرار و الگوهای دادههای آموزشی است.
این کشف، درک ما را از نحوه یادگیری ماشینها و طراحی مدلهای هوشمندتر دگرگون خواهد کرد. 🚀
منبع: arXiv NLP