یکی از چالشهای بزرگ در آموزش مدلهای زبانی (LLM)، وجود «نویز» در دادههای ترجیحی انسانی است که باعث کاهش دقت مدل میشود. محققان به تازگی چارچوب جدیدی ارائه دادهاند که بدون نیاز به دادههای کاملاً پاکسازی شده، میتواند مدلها را بهصورت «بدون سوگیری» (Unbiased) آموزش دهد.
این روش که با نامهای URM و UDPO معرفی شده، با اصلاح ریاضی خطاهای ناشی از نویز، خروجیهای دقیقتری را تضمین میکند. اگر توسعهدهنده هستید یا در زمینه آموزش مدلها کار میکنید، کد این پروژه در گیتهاب برای بررسی و استفاده در دسترس است. 🚀
🔗 لینک پروژه: https://github.com/cswjl/unbiased-alignment
منبع: arXiv AI