تشخیص تصاویر دیپفیک همیشه یک چالش بزرگ بوده، چون ابزارهای مختلف (APIهای تجاری، مدلهای بینایی-زبانی و مدلهای متنباز) روشهای متفاوتی برای ارزیابی دارند.
محققان بهتازگی بنچمارک جدیدی به نام VendorBench-100 معرفی کردهاند که ۳۶ مدل مختلف را در یک شرایط یکسان و با ۱۰۰ نمونه دشوار (شامل فیسسواپ، عکسهای ادیت شده با AI و…) بررسی میکند.
نتایج جالب است: اگرچه APIهای تجاری در مجموع قویترین عملکرد را دارند، اما مدلهای متنباز همچنان رقبای جدی هستند! همچنین این تحقیق نشان میدهد که دقت برخی مدلها در دنیای واقعی به دلیل کالیبراسیون نادرست، کمتر از آن چیزی است که روی کاغذ نشان میدهند.
این ابزار کمک میکند تا بفهمیم کدام مدلها واقعاً در تشخیص محتوای جعلی قابل اعتمادترند. 🤖🛡
منبع: arXiv AI