یک توسعهدهنده خلاق در پروژهای جالب به نام WiFi-LLM، موفق شده است با استفاده از برد ESP32 و استریم کردن وزنهای مدل از طریق WiFi، یک مدل زبانی بزرگ را اجرا کند.
البته همانطور که حدس میزنید، سرعت اجرای آن بسیار پایین است، اما این پروژه یک دمو فنی جذاب برای درک بهتر نحوه استنتاج (Inference) مدلهای هوش مصنوعی روی میکروکنترلرهای ضعیف است. این یعنی محدودیتهای سختافزاری همیشه راهی برای دور زدن با خلاقیت دارند!
نظر شما چیست؟ آیا هوش مصنوعی در آینده روی هر دستگاه کوچک و هوشمندی به راحتی اجرا خواهد شد؟
منبع: Hacker News LLM