بسیاری فکر میکنند فشردهسازی مدلها باعث میشود دادههای حساس آموزشدیده «فراموش» شوند، اما تحقیق جدید arXiv نشان میدهد که نباید روی این موضوع حساب باز کرد! 📉
محققان در این پژوهش بررسی کردند که حتی با فشردهسازی مدلها به ۴ بیت، مدلها همچنان بخش زیادی از دادههای حفظشده (Memorized data) را به صورت کلمه به کلمه بازتولید میکنند، در حالی که دقت کلی مدل (Perplexity) تغییر چندانی نمیکند. نتیجه اینکه: فشردهسازی یک راهکار امنیتی برای حذف دادههای خصوصی نیست! 🛡️⚠️
منبع: arXiv Machine Learning