محققان تکنیک نوآورانهای به نام «کوانتیزاسیون با بیتمتغیر» (VBQ) معرفی کردهاند که میتواند انقلابی در اجرای مدلهای هوش مصنوعی روی دستگاههای ضعیفتر ایجاد کند.
در این روش، مدل به جای استفاده از دقت یکسان برای تمام وزنها، به هر گروه از وزنها اجازه میدهد دقت متفاوتی (۱ تا ۸ بیت) را یاد بگیرد. نتیجه کار؟ مدلهایی که پارامترهای بیشتری دارند اما فضای بسیار کمتری اشغال میکنند و همزمان، سرعت اجرای آنها (Inference) چندین برابر مدلهای معمولی است. این یعنی هوش مصنوعی قدرتمندتر در جیب شما! 📱✨
منبع: arXiv Machine Learning