تکنولوژیهای فعلی تولید Embedding برای مدلهای زبانی (LLM) علیرغم کارایی بالا، هزینههای سنگینی از نظر فضای ذخیرهسازی و قدرت پردازشی دارند. محققان به تازگی فریمورک جدیدی به نام BITEMBED معرفی کردهاند که با استفاده از تکنیک BitNet، مدلهای حجیم را به مدلهایی با وزنهای ترنری (ternary) تبدیل میکند.
ویژگیهای اصلی این دستاورد:
🔹 کاهش چشمگیر هزینههای ذخیرهسازی و پهنای باند در ایندکسهای مقیاسبزرگ.
🔹 حفظ دقت رقابتی نسبت به مدلهای با دقت کامل (Full-precision).
🔹 انعطافپذیری بالا برای پشتیبانی از سطوح مختلف دقت بر اساس نیاز کاربر.
این نوآوری راه را برای استفاده بهینهتر از سیستمهای بازیابی اطلاعات (Retrieval) در مقیاسهای بسیار بزرگ هموارتر میکند.
منبع: arXiv NLP