در دنیای مدلهای زبانی بزرگ (LLM)، مفهومی به نام «وزنهای فوقالعاده» (Super Weights) وجود دارد؛ وزنهایی که حذف آنها عملکرد مدل را به شدت کاهش میدهد. اما مطالعه جدیدی که به تازگی در arXiv منتشر شده، یافتههای جالبی دارد!
محققان نشان دادند که برخلاف تصور قبلی، هدف قرار دادن و آموزشِ صرفِ این وزنهای مهم، نتایج فاجعهباری دارد و دقت مدل را تا حد حدس تصادفی پایین میآورد! 📉 این پژوهش تاکید میکند که برای یک «فاینتیونینگ» موفق، نباید فقط روی وزنهای خاص متمرکز شد، بلکه باید از ساختارهای یکپارچه و لایهای (مانند روش محبوب LoRA) استفاده کرد.
این کشف جدید، درک ما را از معماری داخلی مدلهای زبانی و روشهای بهینهسازی آنها تغییر میدهد. 💡
منبع: arXiv Machine Learning
