دانشمندان حوزه هوش مصنوعی روش جدیدی به نام JOLT معرفی کردهاند که فرآیند «توکنبندی» (Tokenization) در مدلهای زبانی را متحول میکند.
در حال حاضر اکثر مدلها از الگوریتم BPE استفاده میکنند، اما روش جدید JOLT با استفاده از برنامهریزی ریاضی (Integer Programming)، توکنبندی را بهینهتر کرده و شکاف کارایی مدل را تا ۹۹٪ کاهش میدهد. نتیجه؟ مدلهای زبانی شما حالا میتوانند متنها را فشردهتر و با دقت بیشتری پردازش کنند. این گام بزرگی برای افزایش سرعت و کاهش هزینههای پردازشی مدلهای هوشمند است! 🧠✨
منبع: arXiv NLP
