مدلهای زبانی مبتنی بر انتشار (Diffusion) پتانسیل بالایی برای تولید موازی دارند، اما همیشه با سد بزرگی به نام «مانع فاکتورسازی» روبرو بودند که باعث میشد یا سرعت کم شود یا دقت و انسجام متن کاهش یابد.
محققان در مقاله جدید خود با معرفی چارچوب نوآورانه «CoDD»، بالاخره این سد را شکستند! این متد با جایگزینی لایههای پیچیده، اجازه میدهد مدلها وابستگیهای پیچیده بین کلمات را بدون افزایش سرسامآور تعداد پارامترها درک کنند. نتیجه؟ عملکردی در حد متدهای سنگینِ یادگیری تقویتی، اما با هزینهای بسیار کمتر و سرعتی بالاتر. انقلابی در بهینهسازی تولید متن! 📊⚡
منبع: arXiv AI