محققان در مقالهای جدید به چالش مهمی در حوزه علوم شناختی و هوش مصنوعی پرداختهاند. این پژوهش هشدار میدهد که برخلاف تصور رایج، استفاده از معیار «Surprisal» در مدلهای زبانی بزرگ (LLMs) بدون در نظر گرفتن ساختار مدل و تصمیمات بازنمایی، میتواند نتایج گمراهکنندهای داشته باشد.
در واقع، این تحقیق تاکید دارد که نباید احتمالهای خروجی مدلهای زبانی مختلف را به سادگی جایگزین یکدیگر فرض کرد و مدلسازان باید تعهدات الگوریتمی هر معماری را جدیتر بگیرند.
اگر در زمینه پردازش زبان طبیعی (NLP) و روانشناسی محاسباتی فعال هستید، خواندن این دیدگاه انتقادی درباره محدودیتهای «جعبهسیاه» مدلهای مدرن بسیار توصیه میشود.
منبع: arXiv NLP