🔍 رمزگشایی از «جعبه سیاه» هوش مصنوعی: آیا وزن‌های مدل‌های زبانی قابل درک هستند؟

یکی از بزرگترین چالش‌های دنیای هوش مصنوعی، درک دقیق این موضوع است که مدل‌های زبانی (LLM) چطور فکر می‌کنند و هر بخش از شبکه عصبی چه نقشی دارد. در پژوهشی جدید، محققان متوجه شده‌اند که «مدل‌های ترنسفورمر پراکنده» (Sparse Transformers) وضعیت بهتری دارند.

نکات کلیدی این دستاورد:
🔹 این مطالعه نشان می‌دهد که ۱۲ تا ۳۱ درصد از وزن‌های این مدل‌ها دارای یک عملکرد قابل‌تفسیر و مشخص هستند.
🔹 محققان یک سیستم خودکار طراحی کرده‌اند که نقش هر “وزن” را با متنی ساده توضیح می‌دهد و آن را در داده‌های جدید تست می‌کند.
🔹 نتیجه‌گیری مهم: مدل‌های Sparse نسبت به مدل‌های Dense، شفافیت بسیار بیشتری دارند که گام بزرگی برای رسیدن به «هوش مصنوعی قابل توضیح» (XAI) است.

این پیشرفت می‌تواند مسیر ما را برای ایمن‌تر کردن و درک بهتر مدل‌های هوشمند هموارتر کند. نظر شما چیست؟ آیا روزی می‌رسد که دقیقاً بفهمیم درون ذهنِ سیلیکونی این مدل‌ها چه می‌گذرد؟

منبع: arXiv AI