محققان بهتازگی بنچمارک جدیدی به نام «QuArch» را معرفی کردهاند که به طور اختصاصی برای ارزیابی توانایی مدلهای زبانی بزرگ (LLM) در حوزه تخصصی «معماری کامپیوتر» طراحی شده است. 🖥️
تا پیش از این، اکثر بنچمارکها جنبههای عمومی مدلها را میسنجیدند، اما QuArch با داشتن ۲۶۷۱ پرسش و پاسخ تخصصی در زمینههایی مثل طراحی پردازنده، سیستمهای حافظه و شبکههای اتصالی، شکافهای دانش و استدلال مدلهای قدرتمند فعلی را آشکار میکند. جالب اینکه این تحقیق نشان میدهد با استفاده از این دادهها، مدلها میتوانند در طراحیهای بهینه حافظه تا ۲ برابر بهرهوری بیشتری داشته باشند! 🚀
این قدم بزرگی برای به کارگیری هوش مصنوعی در حل مسائل پیچیده مهندسی سختافزار است.
منبع: arXiv AI