یکی از چالشهای بزرگ در دنیای مدلهای زبانی (LLM)، درک این موضوع است که دقیقاً کدام بخش از دادههای آموزشی، بیشترین تأثیر را روی عملکرد مدل داشتهاند. روشهای فعلی به دلیل پیچیدگیهای محاسباتی، مقیاسپذیری پایینی دارند.
محققان در پژوهشی جدید، ابزار نوآورانهای به نام RISE (Readout Influence Sketching Estimator) را معرفی کردهاند. این متد با الهام از نحوه پردازش اطلاعات در مغز انسان، به جای تحلیل تمام مسیرهای عصبی، مستقیماً روی «نقاط حساس» (Hotspots) در لایهی خروجی مدل تمرکز میکند.
✨ چرا RISE مهم است؟
✅ کاهش چشمگیر حافظه مورد نیاز برای تحلیل مدل (تا ۱۱۲ برابر کمتر از روشهای مشابه!)
✅ امکان تحلیل مدلهای بزرگ تا ۳۲ میلیارد پارامتر که قبلاً غیرممکن بود.
✅ کاربرد فوقالعاده در شناسایی دادههای مخرب، دستهبندی دادههای مالی-پزشکی و تشخیص دادههای باکیفیت.
این پیشرفت میتواند مسیر ما را برای ساخت مدلهای شفافتر و بهینهتر هموارتر کند. نظر شما درباره این رویکرد جدید چیست؟
منبع: arXiv Machine Learning