تا حالا دقت کردید که چرا مقایسه نتایج «ایجنتیهای جستجوگر» (Agentic Search) در دنیای هوش مصنوعی اینقدر سخت شده؟ محققان معتقدند چون هرکس از محیط، دیتاست و روش ارزیابی متفاوتی استفاده میکند، نمیشود به راحتی عملکرد مدلها را با هم مقایسه کرد.
حالا پروژه جدید «SimpleWikiSearch» وارد میدان شده تا این مشکل را حل کند! 🚀 این ابزار یک محیط آفلاین، شفاف و استاندارد بر پایه ویکیپدیا ارائه میدهد که شامل:
✅ یک پایپلاین کامل برای پردازش و چانکبندی دادهها
✅ ایندکسهای جستجوی کلمات کلیدی و معنایی
✅ یک اینترفیس ابزاری ساده (Search, Open URL, Submit)
با این محیط، دیگر لازم نیست نگران متغیرهای ناشناخته در تست سیستمهای ایجنتی باشید. این ابزار به محققان کمک میکند تا عملکرد مدلهای زبانی را در شرایطی کاملاً یکسان و قابل بازتولید محک بزنند.
اگر در زمینه توسعه ایجنتهای هوشمند فعالیت میکنید، بررسی کدهای این پروژه در گیتهاب میتواند دید بسیار خوبی به شما بدهد.
منبع: arXiv AI