محققان به تازگی روی این موضوع کار کردهاند که آیا مدلهای زبانی کوچک میتوانند تغییرات در پردازشهای داخلی خود را تشخیص دهند؟ در رویکرد جدیدی به نام «Introspection Fine-Tuning» یا همان IFT، دانشمندان موفق شدند توانایی مدلهای سبک (مثل Llama-1B) را برای شناسایی پردازشهای داخلیشان تا ۶ برابر افزایش دهند!
💡 این دستاورد به این معناست که میتوان بدون نیاز به منابع سنگین سختافزاری، مدلهای هوش مصنوعی کوچکتر را به قابلیت «دروننگری» یا همان گزارشدهی دقیق از نحوه عملکرد خود مجهز کرد. این پیشرفت میتواند در آینده به شفافیت و تفسیرپذیری بیشتر مدلهای کوچک کمک بزرگی کند.
منبع: arXiv NLP