محققان در پژوهشی جدید، چارچوب نظری تازهای ارائه دادهاند که نشان میدهد مدلهای زبانی «ماسکشده» (Masked Language Models) هم میتوانند در یادگیریِ در لحظه (ICL) به اندازه مدلهای خودبازگشت (Autoregressive) مثل GPT قدرتمند عمل کنند.
این تحقیق با معرفی ابزار جدیدی به نام «Masked Pair Encoder»، ثابت میکند که معماریهای دوطرفه پتانسیلهای کشفنشدهای برای درک وظایف جدید در لحظه دارند. این یافته میتواند مسیرهای جدیدی را برای توسعه مدلهای هوشمندتر باز کند. 🚀
منبع: arXiv Machine Learning