اگر در حوزه توسعه سیستمهای بازیابی اطلاعات (RAG) فعالیت میکنید، یک مقاله علمی جدید منتشر شده که زاویه دید متفاوتی به «بودجهبندی توکنها» دارد.
این تحقیق معتقد است معیارهای سنتی مثل «recall» برای مدلهای هوش مصنوعی که محدودیت تعداد توکن دارند، کافی نیستند. نویسندگان شاخص جدیدی به نام «answer-in-context» معرفی کردهاند که دقت پیشبینی پاسخ نهایی را به شدت بالا میبرد. همچنین با استفاده از روشی بهینه (Submodular Maximization)، نحوه بستهبندی دادهها را بهبود دادهاند تا مدل با همان بودجه توکن قبلی، پاسخهای دقیقتری ارائه دهد.
این خبر برای توسعهدهندگانی که با مدلهای زبانی کوچک یا محیطهای محدود کار میکنند، یک گام رو به جلو در افزایش کارایی سیستمهای هوشمند است. 🚀
نویسی
منبع: arXiv NLP
