یکی از بزرگترین چالشهای استفاده از مدلهای زبانی در دنیای واقعی، «توهم» (Hallucination) است؛ جایی که مدل با اعتمادبهنفس کامل، اطلاعات غلط ارائه میدهد. این موضوع بهویژه در فراخوانی توابع (Function Calling) که ممکن است تصمیمات حساس سیستمی را در بر بگیرد، بسیار خطرناک است.
محققان در مطالعه جدید خود، راهکار هوشمندانهای ارائه دادهاند: یک «فیلتر سبک و آموزشپذیر» که بدون نیاز به تغییر دادن مدل اصلی، میزان عدم قطعیت هوش مصنوعی را در لحظه میسنجد. این فیلتر به مدل اجازه میدهد در شرایطی که پاسخ دقیق را نمیداند، از اجرای تابعهای پرخطر خودداری کند.
این پیشرفت گام بزرگی برای افزایش ضریب اطمینان در کاربردهای عملیاتی و صنعتی هوش مصنوعی است که باعث میشود مدلها در دنیای واقعی قابلاعتمادتر شوند.
منبع: arXiv AI