محققان در مقالهای جدید به سراغ حل یکی از مشکلات بزرگ مدلهای زبانی (LLM) رفتهاند: «سوگیری در داوری». تا امروز، استفاده از LLMها برای رتبهبندی خروجیها (مثل انتخاب بهترین مدل یا مقاله) با مشکلاتی مثل «پرگویی» یا «تاثیر موقعیت» همراه بود که باعث میشد رتبهبندیها به جای کیفیت، بر اساس ظاهر و ساختار ارائه باشند.
این تحقیق جدید با ترکیب «استنتاج بیزی» و شناسایی هوشمندِ سوگیریهای هر مدل، روشی ارائه داده که با کمترین هزینه و پرسش، دقیقترین رتبهبندی را انجام میدهد. در واقع این متد جدید یاد میگیرد که هر داور (مدل) چه سوگیری خاصی دارد و آن را در محاسبات خود لحاظ میکند تا نتایج نهایی به واقعیت نزدیکتر باشد. 🎯
منبع: arXiv Machine Learning
