آیا تا به حال به این فکر کردید که چطور مدلهای هوش مصنوعی تصمیم میگیرند؟ محققان در مقالهای جدید نشان دادند که «ثباتِ تفسیر» (Explanation Stability) صرفاً ویژگی خودِ مدل نیست، بلکه ترکیبی از مدل و روشِ تفسیر (Attribution Method) است!
دانشمندان با بررسی مدلهای معروفی مثل ResNet و InceptionV3 در تشخیص تصاویر پزشکی، متوجه شدند که تغییر در روش تفسیر میتواند رتبهبندی ثبات مدلها را کاملاً تغییر دهد. این یعنی برای ادعاهای مربوط به ایمنی و تفسیرپذیری مدلها، باید به سراغ اعتبارسنجی با چندین روش مختلف برویم تا دچار خطاهای تحلیلی نشویم.
این تحقیق هشدار مهمی برای توسعهدهندگان سیستمهای حساس (مثل پزشکی) است: برای داشتن یک سیستم مطمئن، نباید فقط به یک ابزار تحلیل تکیه کرد! 📉🧪
منبع: arXiv AI