اگر در حوزه یادگیری ماشین و کار با دادههای جدولی فعالیت میکنید، انتخاب هایپرپارامترهای مناسب همیشه یک چالش بزرگ بوده است. محققان در مطالعه جدیدی روی ۵۹ مجموعه داده مختلف، روشهای محبوب بهینهسازی (مانند Grid Search، TPE و SMAC) را مقایسه کردهاند.
نتایج کلیدی این پژوهش:
✅ روش SMAC بهترین عملکرد و پایداری را در شرایط محدودیت زمانی ارائه میدهد.
✅ استفاده از تنظیمات پیشفرض یا جستجوی ساده، اغلب به مدلهای غیردقیق ختم میشود.
✅ تمام هایپرپارامترها اهمیت دارند و نباید نادیده گرفته شوند.
✅ استفاده از «توقف زودرس» (Early Stopping) بهترین استراتژی برای انتخاب تعداد مراحل Boosting است.
این تحقیق نشان میدهد که برای رسیدن به بالاترین دقت در مدلهای درختی، سرمایهگذاری روی روشهای بهینهسازی پیشرفته بسیار حیاتیتر از حد تصور است! 🚀
منبع: arXiv Machine Learning