آیا هوش مصنوعی همیشه حقیقت را میگوید؟ تحقیقات جدید نشان میدهد که مدلهای هوش مصنوعی در حوزهی پزشکی (RAG)، حتی زمانی که کاملاً دقیق و مستند به نظر میرسند، ممکن است دچار خطایی به نام «اتساب فریبنده» (Deceptive Grounding) شوند.
در این وضعیت، هوش مصنوعی شواهد پزشکیِ مربوط به یک دارو یا بیماری را به اشتباه به دارو یا بیماری دیگری نسبت میدهد. نکته ترسناک اینجاست که سیستمهای بررسی خودکار، این پاسخها را کاملاً درست و معتبر تشخیص میدهند چون استنادات (Citations) واقعی هستند، اما «موجودیت» (Entity) اشتباه است!
این مطالعه نشان داد که مدلهای متخصصِ پزشکی، در شرایط خاص تا ۸۶ درصد دچار این خطای پنهان میشوند. این یک زنگ خطر جدی برای توسعهدهندگانی است که قصد دارند از RAG در تصمیمگیریهای حساس بالینی استفاده کنند.
منبع: arXiv AI