تا به حال شده بخواهید یک مدل هوش مصنوعی را با متنهای فوقالعاده طولانی (Long-Context) آموزش دهید اما با کمبود حافظه گرافیکی (VRAM) مواجه شوید؟ 🖥️
محققان در مقاله جدیدی روش هوشمندانهای به نام HGA ارائه کردهاند که این محدودیت را دور میزند. در این روش، به جای نگه داشتن تمام اطلاعات در حافظه گرافیکی، فقط بخشهای فعال پردازش میشوند و باقی دادهها به حافظه رم یا SSD منتقل میگردند. نتیجه چیست؟ کارایی خیرهکننده! حالا میتوانید به جای مدلهای معمولی، با همان کارت گرافیک معمولیتان، مدلها را با طولِ متن ۱۶ برابر بیشتر (تا ۱۶ هزار توکن و فراتر از آن) آموزش دهید.
این خبر برای توسعهدهندگانی که میخواهند مدلهای تخصصی خودشان را با بودجه محدود آموزش دهند، یک گام بزرگ رو به جلوست! 💡
منبع: arXiv AI