تا امروز فکر میکردیم مدلهای زبانی (NLMs) صرفاً بر اساس احتمالات آماری جملات را میسازند، اما یک تحقیق جدید روی arXiv نشان میدهد که ماجرا عمیقتر است! 🔍
محققان در این پژوهش با استفاده از تکنیک «Mass-Mean Probing» متوجه شدند که مدلهای زبانی، «دستور زبان» (Grammaticality) را در ساختار درونی خود به صورت مجزا و مستقل از دانش عمومی یا فرکانس کلمات ذخیره میکنند. این یعنی مدلها بهطور ذاتی درک ساختاری از جملات صحیح و غلط دارند، نه اینکه فقط احتمال وقوع کلمات را حدس بزنند.
این یافته یک گام بزرگ برای درک بهتر نحوه «فکر کردن» مدلهای زبانی محسوب میشود. 🤖💡
منبع: arXiv NLP
