محققان در مقاله جدیدی از فریمورک نوآورانه «BiSCo-LLM» رونمایی کردهاند که انقلابی در بهینهسازی مدلهای زبانی بزرگ ایجاد میکند. این تکنیک با استفاده از «کدگذاری کروی باینری»، محدودیتهای حافظه و پهنای باند را در مدلهای بسیار کمبیت (Low-bit) به شدت کاهش میدهد.
نکته کلیدی اینجاست که این روش برخلاف مدلهای قدیمی، نیازی به Lookup table یا همان جداول کد ندارد و با نگاشت وزنها روی یک ابرکره (Hypersphere)، بهرهوری مدل را برای اجرا روی سختافزارهای ضعیفتر به حداکثر میرساند. قدمی بزرگ برای اجرای مدلهای هوشمند روی گوشیها و دستگاههای سادهتر! 🧠✨
منبع: arXiv Machine Learning
