تا حالا به این فکر کردید که چقدر منابع برای تست و ارزیابی مدلهای هوش مصنوعی هدر میرود؟ محققان بهتازگی روشی به نام CollabEval ارائه دادهاند که با استفاده از «تکمیل ماتریس»، فرآیند ارزیابی مدلهای جدید را بهینه میکند.
💡 نکته کلیدی: به جای تست همه پرامپتها روی تکتک مدلها، این متد از دادههای ارزیابیهای قبلی سایر مدلها استفاده میکند تا با تعداد خیلی کمتری از نمونهها، به نتایج دقیق و معتبری دست پیدا کند.
این یعنی محققان میتوانند با هزینه و زمان کمتر، مدلهای هوشمندتر و باکیفیتتری بسازند. یک گام رو به جلو برای بهینهسازی منابع محاسباتی در دنیای بزرگ AI!
منبع: arXiv Machine Learning