محققان در تازهترین پژوهش خود، متد «پیشبینی توکن بعدی» (Next Token Prediction) را برای مدلهای بنیادی در حوزه فیزیک ذرات (Jet Foundation Models) بهینهتر کردهاند.
تغییرات کلیدی:
🔹 استفاده از یک معماری ترکیبی برای بهرهگیری از ویژگیهای پیوسته به جای استفاده صرف از شناسه توکنها.
🔹 ترکیب استراتژیهای «مدلسازی ذرات ماسکشده» و «اهداف یادگیری مولد».
این نوآوری باعث شده تا مدل در وظایف طبقهبندی (Classification) بسیار دقیقتر عمل کند، بدون اینکه تواناییهای مولد (Generative) آن کاهش یابد. گامی بزرگ برای شبیهسازیهای دقیقتر در علوم پایه! ⚛️🤖
منبع: arXiv Machine Learning