محققان به تازگی بنچمارک جدیدی به نام «Safe-Psych» را معرفی کردهاند که عملکرد مدلهای زبانی بزرگ (LLM) را در تشخیصهای روانپزشکی به چالش میکشد. مشکل اصلی اینجاست: مدلهای فعلی در شرایطی که اطلاعات بیمار ناقص است، به جای «ابهامزدایی» یا «صبر برای شواهد بیشتر»، اغلب خیلی زود دست به تشخیص قطعی میزنند که این موضوع ریسکهای جدی در پی دارد.
نتایج نشان میدهد اکثر مدلهای پیشرفته، بیش از ۶۰ درصد مواقع در شرایط عدم قطعیت، شکست میخورند و به جای پرسیدن سوال از متخصص، به تشخیص نادرست بسنده میکنند. این پژوهش زنگ خطری است برای استفاده از AI در حوزههای حساس سلامت روان که نیاز به دقت و تعامل مداوم دارند. 🩺💻
منبع: arXiv AI