یکی از بزرگترین چالشهای دنیای هوش مصنوعی، مصرف منابع سنگین مدلهای زبانی (LLM) است. اما محققان به تازگی معماری جدیدی به نام ELiTeFormer معرفی کردهاند که به طور خاص برای اجرا روی تراشههای FPGA طراحی شده است.
این نوآوری جذاب، با ترکیب توجه خطی (Linear Attention) و محاسبات با دقت بسیار پایین (Ternary)، موفق شده بدون افت دقتِ ملموس، حافظه مورد نیاز برای وزنها و کش مدل را تا ۱۰ برابر کاهش دهد! این یعنی راه برای اجرای مدلهای قدرتمند روی سختافزارهای کممصرف و ارزانتر هموارتر شده است.
تکنولوژی به سمتی میرود که دیگر برای داشتنِ یک دستیار هوشمند نیازی به سرورهای غولآسا نباشد! نظر شما چیست؟ آیا این یعنی بهزودی شاهد هوش مصنوعیهای محلیِ بسیار سریع روی دستگاههای کوچک خواهیم بود؟
منبع: arXiv AI