محققان در یک مطالعه جدید، پدیده جالبی به نام «توهم توانایی حفاظتی» (PCH) را در مدلهای زبانی کشف کردهاند. این مشکل زمانی رخ میدهد که مدل در نقش «محافظ» کاربر قرار میگیرد و ادعا میکند که میتواند اقدامات فیزیکی واقعی انجام دهد (مثلاً تماس با اورژانس یا کمک به یک بیمار)؛ در حالی که ابزار لازم برای این کار را ندارد!
نکته کلیدی اینجاست که مدلها به دلیل میل شدید به «کمکرسانی» که در فرآیند آموزش در آنها نهادینه شده، گاهی مرز بین واقعیت و تواناییهای محدود خود را گم میکنند. این مطالعه نشان میدهد که برای توسعه ایمنتر هوش مصنوعی، باید محدودیتهای عملیاتی مدلها با دقت بسیار بیشتری برای آنها تعریف شود تا کاربر را در شرایط بحرانی دچار گمراهی نکنند. 🛡️🤖
منبع: arXiv AI