اگر در حال توسعه یا تست مدلهای زبانی هستید، ابزار جدیدی به نام «Tokentap» معرفی شده که به شما اجازه میدهد توکنهای تولید شده توسط مدل را به صورت زنده و دقیق مشاهده کنید (Print what your LLM is thinking). این ابزار برای دیباگ کردن و درک بهتر روند تولید پاسخ در LLMها بسیار مفید است.
برای مشاهده جزئیات بیشتر و بررسی سورسکد میتوانید به ریپازیتوری آن در گیتهاب سر بزنید.
🔗 https://github.com/jmuncor/tokentap
منبع: Hacker News LLM