محققان در مطالعه جدید خود به بررسی قدرت بیان (Expressive Power) «ترنسفورمرهای گراف» (Graph Transformers) در حل مسائل بهینهسازی خطی عدد صحیح (MILP) پرداختهاند. نتایج این پژوهش نشان میدهد که کلاس گستردهای از این مدلها، علیرغم قدرت بالا در توجه جهانی (Global Attention)، در آزمون ایزومورفیسم گراف «ویزفیلر-لمان» (1-WL) محدود میشوند.
این یافته بدین معناست که بسیاری از معماریهای محبوب فعلی، در تمایز قائل شدن بین برخی ساختارهای پیچیده ریاضی دچار چالش هستند و برای عبور از این محدودیت، باید به جای تمرکز صرف بر لایههای توجه، از روشهای هوشمندانهتر در «رمزگذاری ورودی» (Input Encoding) استفاده کرد. این مقاله بینش مهمی برای توسعهدهندگان مدلهای مبتنی بر گراف در مسیر رسیدن به معماریهای دقیقتر ارائه میدهد. 🧠📉
سازی
منبع: arXiv Machine Learning