محققان در یک مطالعه جالب، مرزهای «آگاهی از نادانی» در مدلهای زبانی را بررسی کردهاند. این پژوهش نشان میدهد که اگرچه مدلها میتوانند در لایههای درونی خود تفاوت بین واقعیت و جعل را تشخیص دهند (عدم قطعیت درونی)، اما در خروجی خود لزوماً این تردید را بیان نمیکنند!
نکته کلیدی اینجاست که ابراز عدم قطعیت توسط مدلها نه به خاطر آگاهی واقعی، بلکه بیشتر متاثر از سبک نگارش و قراردادهای موجود در دادههای آموزشی است. در واقع، مدلها دچار یک «پارادوکس تواضع» هستند؛ جایی که دادههای تاریخی به آنها یاد داده که چگونه بنویسند، اما نه لزوماً چگونه صداقتِ ذهنی داشته باشند.
این تحقیق گامی مهم برای درک بهتر نحوه استدلال و شفافیت مدلهای زبانی در آینده است. 🔍✨
منبع: arXiv NLP
