محققان در مقاله جدیدی به بررسی مفهوم «سایه اطلاعات» (Information Shadow) پرداختهاند؛ محدودیتهای ساختاری که باعث میشود مدلهای زبانی حتی با مقیاسپذیری عظیم دادهها، باز هم نتوانند برخی مفاهیم را درک کنند. 📉
این تحقیق نشان میدهد که ناتوانیهای LLMها همیشه به خاطر کمبود داده نیست، بلکه به دلیل ساختار یادگیری از متن است. این محدودیتها در سه دسته کلی طبقهبندی شدهاند:
۱. ساختارهایی که زبان قادر به بیان آنها نیست.
۲. توابعی که از توزیع دادههای آموزشی قابل استنباط نیستند.
۳. توابعی که علیرغم قابل نمایش بودن، توسط روشهای آموزش گرادیانمحور قابل دسترسی نیستند.
این خبر برای کسانی که به دنبال درک عمیقتر از «سقف هوش» مدلهای فعلی هستند، بسیار خواندنی است. 🤖🔍
منبع: arXiv AI
