اگر توسعهدهنده هستید یا با خروجیهای مدلهای زبانی (LLM) کار میکنید، حتماً با چالش «هذیان» یا همان توهم هوش مصنوعی مواجه شدهاید. ابزار جدیدی به نام TokenPath معرفی شده که با تحلیل وزنهای توجه (Attention) در سطح توکن، به شما نشان میدهد که هوش مصنوعی دقیقاً از کدام بخش منبع برای تولید هر کلمه استفاده کرده است.
این قابلیتِ «استناد در سطح توکن»، گام مهمی برای شفافسازی و افزایش اعتبار خروجیهای مدلهای زبانی است و میتواند کمک بزرگی به بهبود خطایابی در سیستمهای RAG باشد.
🔗 میتوانید جزئیات بیشتر را در سایت این پروژه مشاهده کنید: https://tokenpath.ai
منبع: Hacker News LLM