آیا توزیع کلمات در زبان همیشه طبق «قانون زیف» پیش میرود؟ محققان در مقاله جدید خود به سراغ تحلیل توزیع کلمات توقف (Stopwords) و کلمات عملکردی (Function words) رفتهاند.
این تحقیق نشان میدهد که برخلاف کلمات معمولی، توزیع این دسته از کلمات با «تابع رتبه بتا» (BRF) بهتر توصیف میشود. همچنین، مدل جدیدی برای انتخاب کلمات ارائه شده که بر اساس توابع هیل (Hill’s function) عمل میکند. این دستاورد میتواند به درک عمیقتر از نحوه پردازش متن در مدلهای زبانی و بهبود انتخاب زیرمجموعه کلمات کمک شایانی کند. 🧠✨
منبع: arXiv NLP