محققان در مقاله جدیدی، بنچمارک جذابی به نام «StreamProfileBench» را معرفی کردهاند که به بررسی یکی از نقاط ضعف مهم مدلهای زبانی بزرگ میپردازد: «پروفایلسازی پویا از کاربر»!
🔹 ماجرا چیست؟ اکثر مدلهای فعلی، کاربر را ثابت فرض میکنند، اما در دنیای واقعی، علایق ما مدام تغییر میکند. محققان با بررسی ۱۲۰ هزار پست از ۷ هزار کاربر واقعی، متوجه شدند که اکثر مدلهای پیشرو دچار یک «سوگیری محافظهکارانه» هستند؛ یعنی تمایل دارند علایق قدیمی کاربر را بیش از حد حفظ کنند و تغییرات جدید (Interest Decay) را نادیده بگیرند.
این بنچمارک جدید که شامل دیتاستهای واقعی و بدون نیاز به برچسبگذاری (Annotation-free) است، میتواند راهگشای سیستمهای توصیهگر هوشمندتر باشد تا بالاخره بفهمند سلیقه ما در طول زمان چطور تغییر میکند. 🧠✨
🔗 کد و دیتای این پروژه در گیتهاب برای علاقهمندان در دسترس است.
منبع: arXiv NLP