دنیای پزشکی به دلیل ماهیت چندوجهی (Multimodal) خود، نیاز به مدلهایی دارد که بتوانند همزمان متن و تصویر را درک کنند. اما بزرگترین چالش، کمبود دادههای باکیفیت و استاندارد بود.
محققان با معرفی سیستم جدید MedPMC، این مشکل را حل کردهاند. این چارچوب با بررسی بیش از ۶ میلیون مقاله علمی، ۱۱ میلیون جفت تصویر و متن پزشکی با دقت بسیار بالا استخراج کرده است.
نتایج فوقالعاده است: مدلهای آموزشدیده با MedPMC نسبت به نمونههای قبلی، جهش ۷.۱ درصدی در دقت تشخیص بیماری داشتهاند، آن هم با دادههای کمتر! این یعنی گامی بلند به سمت دستیارهای هوشمند پزشکی که دقیقتر و قابلاعتمادتر هستند. 🩺🤖
منبع: arXiv Computer Vision