اگر به دنیای «اینفرنس» (Inference) مدلهای زبانی علاقه دارید، حتما پروژه جدید NightRun را بررسی کنید. این ابزار متفاوت به شما اجازه میدهد مدلهای هوش مصنوعی را بدون نیاز به سیستمعامل و تنها با بوت کردن از طریق USB، بهصورت «Bare Metal» روی سختافزار اجرا کنید.
این یعنی حذف واسطههای نرمافزاری و دسترسی مستقیم به قدرت سختافزار برای پردازشهای هوش مصنوعی. پروژهای هیجانانگیز برای کسانی که به دنبال بهینهترین حالت اجرا هستند.
افزار
منبع: Hacker News LLM