Що відбувається, коли кожен пристрій у федеративній мережі бачить лише один клас даних?

Федеративне навчання дозволяє тисячам телефонів і сенсорів тренувати спільну модель без завантаження сирих даних. Периферійні сервери також беруть участь.

У варіанті з дистиляцією кожен пристрій запускає локальну модель на публічному наборі без міток і надсилає лише прогнози на центральний сервер. Проблеми виникають, коли локальні дані різко нерівномірні. Один телефон має тисячі фото котів, але нуль собак. Інший бачить лише собак. Кожна локальна модель стає зсунутою до класу, що домінує в її шматку. Оскільки публічний набір не має істинних міток, сервер не здатний легко визначити, яких прогнозів варто довіряти.

FedCC додає єдиний додатковий вихід — явну мітку «невідоме».

Коли модель клієнта невизначена щодо публічного зразка, вона видає цю мітку замість гадання серед реальних класів. Сервер потім будує калібровані штучні мітки на публічних даних, використовуючи лише впевнені прогнози. Мітки «невідоме» діють як клапан безпеки, що запобігає поширенню помилок.

Архітектура клієнта не змінюється: локальна модель все ще видає вектор ймовірностей, але argmax тепер вказує на новий індекс. Сервер агрегує ці вектори як раніше, потім запускає крок калібрування, що переважує штучні мітки залежно від частоти появи кожного класу у клієнтів. Цей механізм не вимагає додаткових раундів зв'язку чи доступу до приватних даних.

Експеримент із крайнім зсувом демонструє силу підходу.

Сценарій, де десять класів існують глобально, але кожен клієнт тримає зразки лише з одного класу, є найгіршим можливим зсувом розподілу міток. За таких умов FedCC досягає 67,3 % top-1 точності на глобальному тесті. Кожен протестований базовий метод падає до продуктивності випадкового гадання — для десяти класів це близько 10 %.

Розрив не виникає через потужнішу модель.

Він