آیا مدلهای زبانی واقعاً در بازگردانی کدهای کامپایلشده (Decompilation) مهارت دارند؟ مطالعه جدیدی روی زبان برنامهنویسی Dart نشان میدهد که ما هنوز با نقطه ایدهآل فاصله داریم!
محققان در این پژوهش، عملکرد مدلهای بزرگ زبانی در بازگردانی کدهای Dart AOT را بررسی کردهاند و نتایج جالبی به دست آمده:
✅ نکته اول: برخلاف تصور، فاینتون کردن مدلها همیشه باعث بهبود عملکرد نمیشود؛ در برخی موارد حتی دقت مدل به شدت افت میکند!
✅ نکته دوم: تداخل زبانی (مثلاً تأثیر آموزش روی زبان Swift) در مدلهای کوچکتر بسیار ملموستر است.
✅ نکته سوم: معیارهای سنتی ارزیابی کد (مثل CodeBLEU) همیشه با عملکرد واقعی کد در دنیای واقعی (pass@k) همسو نیستند.
این تحقیق هشدار میدهد که در کارهای تخصصی مثل مهندسی معکوس، صرفاً تکیه بر معیارهای سطحی کافی نیست و باید دقت بیشتری در فرآیند آموزش داشت.
نویسی
منبع: arXiv AI