محققان به تازگی چارچوب جدیدی به نام «TAP-RAG» معرفی کردهاند که دنیای RAG (بازیابی اطلاعات) را برای اسناد حجیم و چندرسانهای متحول میکند. برخلاف روشهای قدیمی که برای هر پرسش، رویکردی مشابه داشتند، این سیستم با استفاده از یک «کنترلگر هوشمند»، برای هر سوال سیاست ویژهای تعیین میکند.
این مدل با ترکیب تحلیل متن، تصاویر صفحه و گرافهای ساختاریافته، توانسته است عملکرد سیستمهای RAG فعلی را بهطور چشمگیری (تا بیش از ۹ امتیاز) بهبود ببخشد. این یعنی هوش مصنوعی حالا دقیقتر از همیشه میداند چه زمانی باید به متن نگاه کند و چه زمانی سراغ تحلیل تصاویر برود! ✨
منبع: arXiv Computer Vision