Чому розріджені активації все ще витікають приватні дані при колаборативному інференсі?

Колаборативний інференс розділяє нейромережу між телефоном і сервером. Телефон надсилає проміжну активацію замість сирих даних, але нове дослідження показує: розрідження цієї активації практично не знижує ризики приватності.

Що насправді передає колаборативний інференс

Телефон проганяє вхід через перші шари моделі. Виходить проміжна активація — тензор чисел — і йде на сервер. Сервер дораховує решту шарів і повертає результат. Схема економить трафік порівняно з відправкою повного входу. Сирий зображення або аудіо залишаються на пристрої. Два проблеми залишаються. Тензор може бути великим. Слухач або цікавий сервер можуть відновити оригінальний вхід з нього.

Припущення про розрідженість

Недавні роботи стискають тензор, залишаючи лише найбільші значення. Решта стає нулями. Ненульові значення та їх позиції ентропійно кодуємо. Інтуїція підказує: це допомагає приватності. Менше чисел летить мережею. Менше інформації має витікати. Стаття перевіряє цю інтуїцію безпосередньо.

Як дослідження розділяє значення від позицій

Автори розкладають розріджену активацію на дві частини. Одна містить збережені значення. Інша — лише позиції, де ці значення сидять. Потім відновлюють вхід з кожної частини окремо. Це ізолює внесок позицій від внеску магнітуд. Експерименти охоплюють датасети натуральних зображень та облич.

Позиції несуть ризик

Збережені значення витікають набагато менше за густий тензор. Позиції витікають майже стільки ж, скільки густий тензор. Високоточні відновлення виникають лише з позицій. На даних облич реідентифікація людей вдається лише за мапою позицій. Витік зберігається навіть коли вартість передачі падає до дробів від оригіналу. Зберігається і коли падає точність задачі. Попередні аналізи трактували позиції як бічну інформацію, потрібну лише для декодування. Дослідження показує: позиції — головний носій приватного вмісту.

Що це змінює в проектуванні систем

Будь-яке розгортання, що передає розріджені активації, має трактувати мапу позицій як чутливі дані. Шифрування або безпечна агрегація мають покривати позиції, а не лише значення. Аудити, що вимірюють витік лише від значень, пропустять домінуючий ризик. Код, що супроводжує статтю, дозволяє інженерам відтворити атаки відновлення на власних моделях.

Де закінчуються докази

Стаття не оцінює, скільки пристроїв уже використовують розріджений колаборативний інференс у продакшні. Не пропонує конкретного заходу за винятком рекомендації аудиту. Не вимірює витік при диференціальній приватності або безпечній багатопартійній обчисленні. Ці питання залишаються відкритими.