خبر هیجانانگیز برای طرفداران اکوسیستم اپل! محققان با معرفی فریمورک «BaseRT» موفق شدند رکورد سرعت اجرای مدلهای زبانی بزرگ (LLM) را روی تراشههای نسل جدید Apple M5 جابهجا کنند.
این ابزار با بهرهگیری هوشمندانه از واحدهای «Neural Accelerator» در تراشههای M5، توانسته سرعت پردازش درخواستها (Prompt Processing) را تا ۶.۴ برابر نسبت به llama.cpp افزایش دهد! این یعنی مدلهای سنگینی مثل Llama 3.2 یا Qwen حالا روی دیوایسهای اپل با سرعتی باورنکردنی اجرا میشوند. این دستاورد عملاً یک استاندارد جدید برای دنیای «On-Device AI» محسوب میشود. ⚡️🍎
منبع: arXiv Machine Learning