تا به حال آموزش مدلهای زبانی بزرگ و چندوجهی (MLLM) به دلیل تضاد بین «سرعت محاسبات» و «میزان حافظه»، با چالشهای زیادی روبرو بود؛ یعنی با بهبود یکی، دیگری قربانی میشد. اما محققان بالاخره این سد را شکستند!
💡 BigMac چیست؟
این تکنیک جدید با یک ساختار خطلولهای (Pipeline) خلاقانه، اجازه میدهد پردازش کدگذار (Encoder) و تولیدکننده (Generator) در دلِ مدل اصلی جای بگیرند. نتیجه چیست؟
✅ کاهش چشمگیر پیچیدگی حافظه به O(1)
✅ سرعت آموزش ۱.۰۸ تا ۱.۹ برابر بیشتر از روشهای فعلی
✅ پایداری فوقالعاده در حافظه، حتی با افزایش حجم دستههای داده (Batch Size)
این یعنی به زودی شاهد آموزشهای سریعتر و بهینهتر برای هوش مصنوعیهایی خواهیم بود که همزمان متن، تصویر و ویدیو را درک میکنند. دنیای AI با سرعت سرسامآوری در حال بهینهسازی است! 🔥
منبع: arXiv Machine Learning