Як FedSAP розділяє нейромережу між пристроями, що не довіряють даним один одного

Нова федеративна платформа FedSAP трактує структурне скорочення як задачу розподілу трьох типів каналів. Кожен канал потрапляє до глобального пулу, приватного пулу або стану відкидання, щоб пристрої з різними обчислювальними бюджетами та доменами даних могли навчатися разом, не змішуючи несумісні ознаки.

Чому уніфіковане стиснення ламається на змішаних флотах

Федеративне навчання на периферії завжди стикалося з двома обмеженнями одночасно. Пристрої відрізняються пам'яттю та потужністю. Автономність теж варіюється. Їхні локальні дані також різняться — фото в приміщенні чи на вулиці, рукописні цифри з різних країн, об'єкти офісу під іншим освітленням.

Існуючі адаптивні методи визначають, скільки моделі навчає кожен клієнт. Вони не вирішують, де має знаходитися збережена потужність і як її спільно використовувати. Методи узагальнення доменів припускають, що кожен клієнт запускає повну архітектуру. Однорідне стиснення тому відкидає корисні канали. Єдиний шлях агрегації змішує переносні ознаки з чутливими до домену оновленнями.

Тристановий розподіл каналів

FedSAP переформулює задачу. Кожен клієнт отримує коефіцієнт збереження — одне число, що відображає його ресурсний бюджет. Платформа перетворює його на не уніфіковані шарові бюджети. Кожен канал у кожному шарі потрапляє в один із трьох станів. Стабільні канали йдуть у Глобальний пул. Корисні, але чутливі до домену — у псевдодоменно-специфічні Приватні пули. Низькоцінні — у стан Відкидання.

Такий поділ дозволяє загальнодоступним ознакам вигравати від перехресної агрегації, ізолюючи чутливі до домену оновлення від несумісних клієнтів. Жоден канал не виходить за межі свого призначення.

Доменне керування призначенням та агрегація за типами

Псевдодомени не задані заздалегідь. FedSAP виводить їх із подібності поверхневих градієнтів між клієнтами. Канали, що поводяться однаково на підмножині пристроїв, формують псевдодомен. Кожен отримує власний Приватний пул.

Під час агрегації Type-Matched Aggregation обмежує кожен канал його пулом. Глобальні канали усереднюються по всіх клієнтах. Приватні — лише всередині свого псевдодомену. Відкинуті канали ніколи не передаються. Стаття не повідомляє, скільки псевдодоменів виникає на практиці; описано лише механізм виведення.

Приріст точності при глибокому скороченні

Експерименти пройшли на двох стандартних бенчмарках: Digits та Office-Caltech. За трьома випадковими сідами FedSAP досягає 76,00 % середньої глобальної точності на Digits і 72,67 % на Office-Caltech. Найсильніший базовий метод поступається на 1,70 і 4,92 відсоткові пункти відповідно. Клієнти працюють зі скороченням аж до 80 %.

Джерело не надає затримки на клієнта, споживання енергії чи обсягу зв'язку. Також не описано, як обирається коефіцієнт збереження для конкретного пристрою у реальному розгортанні.

Що залишається відкритим у препринті

Метод припускає, що подібність градієнтів — надійний показник належності до домену. Абеляційних перевірок цього припущення проти групування за мітками чи метаданими немає. Три сіди дають оцінку дисперсії, але довірчі інтервали не звітуються.

Посилання на код і дані є в записі arXiv, але сам препринт не гарантує артефакти відтворюваності. Розгортання на реальному гетерогенному «залізі» — телефонах, сенсорах, мікроконтролерах — ще не перевірене.