🚀 ماشین‌های وضعیت در خدمت بهینه‌سازی توجه در مدل‌های زبانی (LLM)

محققان به تازگی در یک مقاله جدید، راهکاری برای استفاده از «ماشین‌های وضعیت» (State Machines) جهت بهبود فرآیند Attention در مدل‌های هوش مصنوعی ارائه کرده‌اند. این رویکرد با تمرکز بر بهره‌وری انرژی و سخت‌افزارهای پردازشی (مانند Vivado)، پتانسیل بالایی برای افزایش سرعت و کاهش مصرف توان در محاسبات مدل‌های سنگین دارد. این یعنی مدل‌های هوش مصنوعی در آینده می‌توانند با سخت‌افزارهای ضعیف‌تر و مصرف برق بسیار کمتر، خروجی‌های دقیق‌تری ارائه دهند.

منبع: Zenodo

منبع: Hacker News LLM