محققان در یک پژوهش تازه، رویکرد بهینهای را برای فهم بهتر تصمیمات مدلهای «جعبه سیاه» (Black-box) و سنجش مقاومت آنها ارائه کردهاند. این روش با استفاده از یک تابع هدف هوشمند، تغییرات حداقلی و قابلفهم در ورودی ایجاد میکند تا مشخص شود مدل دقیقاً چرا یک داده را اشتباه دستهبندی کرده است.
از ویژگیهای جالب این تحقیق، معرفی «ماتریس خطای حوزه تحمل» (TOR-Confusion Matrix) است که به کمک آن میتوان میزان آسیبپذیری مدلها در برابر تغییرات داده را با دقت بسیار بالایی اندازهگیری کرد. گامی مهم برای ساخت مدلهای قابلاعتمادتر و تفسیرپذیرتر! 🤖🛡️
منبع: arXiv Machine Learning
