محققان در مقالهای جدید، روش نوآورانهای به نام ConG (مخفف Contrastive Weak-to-Strong Generalization) معرفی کردند که میتواند نقطه عطفی در توسعه مدلهای قدرتمندتر باشد.
💡 ماجرا چیست؟
همانطور که میدانید، یکی از چالشهای اصلی در آموزش مدلهای بزرگ، وابستگی به مدلهای ضعیفتر و نویزهای موجود در خروجی آنهاست. در این روش جدید، با استفاده از «رمزگشایی تقابلی» (Contrastive Decoding)، نویز و بایاسهای مدلهای ضعیف حذف شده و مدلهای قدرتمند (Strong Models) یادگیری بسیار دقیقتر و باکیفیتتری را تجربه میکنند.
این دستاورد نه تنها باعث افزایش پایداری در آموزش میشود، بلکه مسیر هموارتری را برای رسیدن به هوش مصنوعی عمومی (AGI) باز میکند. به نظر میرسد این تکنیک بهزودی در خانوادههای مختلف مدلهای زبانی به استاندارد جدید تبدیل شود.
منبع: arXiv AI