محققان در یک پژوهش جدید، فریمورک نوآورانهای به نام TokAG معرفی کردهاند که به مدلهای بینایی-زبانی (LVLM) کمک میکند تا «تواناییهای عملیاتی» (Affordance Grounding) اشیاء را بهتر درک کنند.
تا پیش از این، مدلها در تشخیص دقیق بخشهایی از تصویر که برای انجام یک فعالیت خاص (مثلاً گرفتن یک لیوان) مناسب هستند، دچار چالش بودند. TokAG با استفاده از تحلیل هوشمند توکنهای خروجی در مدلهای بینایی-زبانی، میتواند بدون نیاز به آموزش نظارتشده، نقاطی از تصویر را شناسایی کند که برای انجام عمل مورد نظر مناسباند.
این پیشرفت گام مهمی در جهت بهبود هوش فیزیکی رباتها و درک دقیقتر آنها از دنیای پیرامون محسوب میشود. 🤖✨
منبع: arXiv AI