محققان در یک بررسی دقیق و فنی بر روی مدل SR-TTT، متوجه شدند که ادعاهای اولیه درباره «توانایی بازخوانی» (Retrieval) این مدل ناشی از خطاهای ارزیابی و باگهای فنی بوده است. در واقع، این مدل در تستها از پیش به پاسخها دسترسی داشته و عملکرد فوقالعادهاش صرفاً یک «توهم آماری» بوده است.
این مقاله یادآوری مهمی برای متخصصان هوش مصنوعی است که در توسعه مدلهای پیشرفته، حتی روشهای نوآورانه نیز باید زیر ذرهبین دقیق بررسی شوند تا از بروز چنین اشتباهات ساختاری جلوگیری شود.
اگر در حوزه توسعه مدلهای زبانی فعالیت میکنید، خواندن جزئیات این «کالبدشکافی فنی» در arXiv بسیار مفید خواهد بود.
منبع: arXiv AI