آیا تا به حال به این فکر کردهاید که چرا برای پردازش مدلهای هوش مصنوعی (LLM) روی گوشی، مدام دادهها را بین رم و پردازنده جابهجا میکنیم؟ این جابهجایی نه تنها باعث گرم شدن دستگاه و مصرف باتری میشود، بلکه سرعت را هم بهشدت محدود میکند.
به تازگی پروژهای جذاب به نام «CaSA» معرفی شده که سعی دارد این مشکل را با اجرای مستقیم استنتاج مدلهای هوش مصنوعی «داخل رم» (In-Memory Computing) حل کند! با این روش، دادهها دیگر نیازی به عبور از باس حافظه ندارند و مستقیماً داخل تراشههای DRAM پردازش میشوند.
این نوآوری میتواند کلید اصلی اجرای روان مدلهای قدرتمند روی گوشیهای هوشمند آینده باشد. تکنولوژی هر روز در حال کوچکتر و بهینهتر شدن است!
منبع: Hacker News LLM