یکی از چالشهای بزرگ در دنیای یادگیری ماشین، بحث «کالیبراسیون» (Calibration) مدلهاست؛ یعنی اینکه مدل چقدر در تخمین احتمالهای خود واقعبین است.
محققان بهتازگی روش جدیدی برای محاسبه «خطای کالیبراسیون مورد انتظار» (ECE) ارائه کردهاند که با استفاده از بازههای اطمینان (Confidence Intervals)، دقت ارزیابی مدلها را بهمراتب بالاتر میبرد. این روش آماری کمک میکند تا برخلاف روشهای سنتی (مثل نمونهگیری)، با محاسبات دقیقتر و سریعتر بفهمیم مدل ما چقدر قابلاعتماد است.
این تحقیق گامی مهم برای توسعه مدلهای هوش مصنوعی قابلاعتمادتر (Trustworthy AI) در کاربردهای حساس است.
منبع: arXiv Machine Learning