یکی از دغدغههای اصلی در دنیای مدلهای زبانی (LLM)، رفتارهای جانبدارانه و کلیشههایی است که این مدلها ناخواسته نمایش میدهند. حالا محققان با معرفی یک بنچمارک جدید به نام CAB (Counterfactual Bias-eliciting Benchmark)، روشی نوآورانه برای ارزیابی واقعبینانه مدلها ایجاد کردهاند.
این چارچوب به جای استفاده از سوالات تکراری و ساده، با تولید پرسشهای باز و واقعگرایانه، مدلها را به چالش میکشد تا ابعاد پنهان سوگیریها، امتناعهای ناعادلانه و کلیشههای آنها آشکار شود. نتیجه این تحقیق نشان میدهد که با وجود پیشرفتهای اخیر، همچنان راه درازی برای رسیدن به «هوش مصنوعی کاملاً منصفانه» در پیش داریم. ⚖️🤖
منبع: arXiv AI