ترکیبِ «حفظ حریم خصوصی» و «یادگیری عمیق بیزی» همیشه چالش‌برانگیز بوده، چون نویزِ مربوط به حریم خصوصی اغلب با نویزهای نمونه‌برداری تداخل پیدا می‌کند.
محققان در مقاله جدیدی، بهینه‌سازِ تازه‌ای به نام DP-IVON-Gradsq معرفی کرده‌اند که با استفاده از یک تخمین‌گر اصلاح‌شده‌ی شیب (Squared-Gradient)، این تعامل مزاحم را کاهش می‌دهد. این روش به مدل‌های شما اجازه می‌دهد در عین حفظ کارایی الگوریتم‌های سریِ Adam، خروجی‌های دقیق‌تر و ایمن‌تری داشته باشند.
نتایج نشان می‌دهد این روش در شرایطی که محدودیت‌های حریم خصوصی خیلی شدید نباشد، نسبت به روش‌های کلاسیک مثل DP-SGD عملکرد رقابتی و بسیار خوبی دارد.
🔗 کد این پروژه برای علاقه‌مندان به حریم خصوصی در هوش مصنوعی در گیت‌هاب در دسترس است.
منبع: arXiv Machine Learning