🧠 تکنیک جدید برای ارتقای دانش مدل‌ها: فراتر از هم‌ترازی سطحی!

محققان در مطالعه اخیر خود با چالش جالبی در زمینه «تقطیر دانش» (Knowledge Distillation) روبرو شدند. آن‌ها متوجه شدند که روش‌های سنتیِ تطبیق ویژگی‌های پنهان یا وزن‌ها، همیشه بهترین نتیجه را برای انتقال توانمندی مدل‌های هوش مصنوعی (مثل Qwen2.5 و Llama-3.1) ندارند.

نکته کلیدی این تحقیق این است که برای انتقال دقیق دانش، نباید فقط به دنبال «کپی‌برداری» از ویژگی‌های ظاهری مدل باشیم، بلکه باید «کلاس‌های هم‌ارزی» (Equivalence Classes) را هدف قرار دهیم. به عبارت ساده‌تر، تطبیق خروجی‌های منطقی (Logits) بسیار موثرتر از تطبیق هندسه لایه‌های پنهان در افزایش توانمندی مدل است. این یافته می‌تواند راه را برای ساخت مدل‌های کوچک‌تر و قدرتمندتر از طریق الگوبرداری دقیق‌تر از مدل‌های بزرگ باز کند.

منبع: arXiv AI