محققان با معرفی فریمورک جدید «CogAlign»، قدم بزرگی برای ارتقای دقت مدلهای چندوجهی (MLLM) در آندوسکوپی دستگاه گوارش برداشتهاند.
چالش اصلی مدلهای فعلی، ناتوانی در درک منطق بالینی پزشکان و تمرکز روی جزئیات غیرضروری (نویزهای بصری) بود. حالا در این روش جدید:
۱. مدل با دادههای سلسلهمراتبی آموزش دیده تا دقیقاً مثل متخصص، از تشخیص آناتومی تا تحلیل عروق را مرحلهبهمرحله طی کند.
۲. از یادگیری تقویتی مبتنی بر «استدلال علی» استفاده شده تا مدل فقط بر اساس ویژگیهای واقعی ضایعات تشخیص دهد، نه حدس و گمانهای اشتباه.
این یعنی خطای تشخیص در پزشکی با کمک هوش مصنوعی کمتر و اعتماد به نتایج بیشتر میشود! 🚀
منبع: arXiv Computer Vision