اگر در دنیای سیستمهای بازیابی اطلاعات (RAG) فعال هستید، حتما میدانید که «هزینه توکن» همیشه یکی از چالشهای بزرگ بوده است. 📉
محققان به تازگی فریمورک جدیدی به نام «TeaRAG» معرفی کردهاند که به جای فدا کردن دقت برای سرعت، بهینهسازی هوشمندانهای انجام داده است:
✅ کاهش چشمگیر ۶۱ درصدی در تعداد توکنهای خروجی!
✅ افزایش دقت تا ۴ درصد در پاسخدهی دقیق.
✅ استفاده از گرافهای دانش و بهینهسازی ترجیحی (DPO) برای خلاصهسازی مراحل استدلال.
این یعنی در آیندهای نزدیک میتوانیم ایجنتهای هوش مصنوعی داشته باشیم که هم دقیقترند و هم بسیار اقتصادیتر عمل میکنند. پیشرفت در مقیاسپذیری هوش مصنوعی با سرعت نور ادامه دارد! 💡
نویسی
منبع: arXiv AI