محققان در پژوهش جدیدی به بررسی این چالش پرداختهاند که وقتی میخواهیم بفهمیم یک مدل هوش مصنوعی دقیقاً چگونه تصمیم میگیرد (استخراج مدارها)، نتایج بسیار به روشی که انتخاب میکنیم بستگی دارد!
این مطالعه نشان میدهد که «مدارهای استخراجشده» لزوماً بازتابدهنده واقعیت عملکرد مدل نیستند و بسته به اینکه چگونه اجزا را دستهبندی یا مقایسه کنیم، نتایج متفاوت خواهند بود. این گام بزرگی برای شفافتر کردن و تفسیرپذیری (Interpretability) مدلهای پیچیده است تا بفهمیم پشتِ پاسخهای هوش مصنوعی چه میگذرد.
منبع: arXiv AI