📊 معیار جدید برای سنجش هوش مصنوعی: آیا مدل‌ها واقعاً «تصادفی» عمل می‌کنند؟ 🤖

محققان ابزار جدیدی به نام UnpredictaBench معرفی کرده‌اند که دقت مدل‌های زبانی بزرگ (LLM) را در بازتولید توزیع‌های آماری واقعی می‌سنجد. مشکل بسیاری از مدل‌های فعلی این است که تمایل دارند به جای رفتارهای پیش‌بینی‌نشده (که در دنیای واقعی ضروری است)، به سمت پاسخ‌های کلیشه‌ای و ثابت حرکت کنند.

این بنچمارک با استفاده از ۴۴۸ سناریوی مختلف و معیاری به نام KS@N، بررسی می‌کند که آیا هوش مصنوعی می‌تواند رفتارهای تصادفی یک سیستم پیچیده را شبیه‌سازی کند یا خیر. نتایج اولیه نشان می‌دهد که تفاوت عملکرد مدل‌های فعلی بسیار زیاد است و هنوز تا رسیدن به دقت واقعی فاصله داریم.

منبع: arXiv NLP