محققان در یک دستاورد تازه، متد جدیدی به نام «OPIUM» (مخفف بهینهسازی محافظتشده) را برای کنترل دقیقتر مدلهای زبانی بزرگ معرفی کردهاند.
مشکل اصلی در «Activation Steering» این است که وقتی سعی میکنیم مدل را کنترل کنیم، گاهی اوقات مدل بیش از حد محتاط شده و از پاسخ دادن به سوالات بیضرر امتناع میکند یا رفتارهای ناامن نشان میدهد. OPIUM بدون نیاز به آموزش مجدد و با بهینهسازی فضا، تعادل بهتری بین «امنیت» و «کارایی» مدل برقرار میکند.
این روشِ هوشمندانه باعث میشود مداخلات ما در رفتار هوش مصنوعی، اثرات جانبی مخرب کمتری داشته باشد. گامی رو به جلو برای مدلهایی که هم ایمن باشند و هم کاربردی! 🧠✨
منبع: arXiv Machine Learning