محققان در مقاله جدیدی به بررسی چالش کوانتایز کردن (Quantization) مدلهای بزرگ زبانی پرداختند و با معرفی چارچوب TASA، تحولی در این حوزه ایجاد کردند. نکته جالب اینجاست که آنها با استفاده از روشی هوشمندانه برای تخصیص بیتها، نشان دادند که مدلهای ۳.۵ بیتی میتوانند عملکردی حتی بهتر از مدلهای ۴ بیتی سنتی داشته باشند!
این یعنی در آیندهای نزدیک، میتوانیم مدلهای بسیار قدرتمندتر را با مصرف حافظه کمتر و سرعت بالاتر روی دستگاههای مختلف اجرا کنیم. مسیر برای بهینهسازی دقیقتر LLMها هموارتر شده است.
سازی
منبع: arXiv Machine Learning