🧠 ارزیابی دقیق‌تر عدم قطعیت در مدل‌های زبانی بزرگ (LLMs)

⚠️ هشدار به محققان: چرا دقت مدل‌های شناسایی پهپاد گاهی «واقعی» نیست؟

محققان در مقاله جدیدی روشی سبک و کارآمد برای اندازه‌گیری «عدم قطعیت» (Uncertainty) در مدل‌های هوش مصنوعی ارائه کرده‌اند. تا به امروز، ارزیابی اینکه یک مدل چقدر در پاسخ خود شک دارد، یا بسیار پیچیده بود یا به داده‌های آموزشی دسترسی نداشت، اما این متد جدید با یک بار پردازش رفت‌وبرگشتی (Forward-Backward Pass) در مدل‌های از پیش آموزش‌دیده، نتایج بسیار دقیقی ارائه می‌دهد.

این نوآوری به توسعه‌دهندگان کمک می‌کند تا درک کنند چه زمانی مدل‌های هوش مصنوعی دچار توهم (Hallucination) می‌شوند یا پاسخ‌های غیرقابل‌اعتماد ارائه می‌دهند. این روش به ویژه در بنچمارک‌هایی مانند TruthfulQA عملکرد بسیار خوبی داشته است.

منبع: arXiv AI