Чи дозволить гібридне навчання пристроям із малою пам'яттю приєднатися до федеративного навчання?

Пам'ять як головний бар'єр для периферії

Федеративне навчання обіцяє тренувати моделі на даних, що ніколи не залишають пристрій. Телефони та сенсори зберігають частини загальної картини. Мікроконтролери теж мають свої уривки даних. Центральний сервер об'єднує їхні оновлення в єдину модель. Але є проблема. Стандартне навчання використовує зворотне поширення помилки — метод першого порядку, що вимагає зберігати проміжні активації для кожного шару. На дрібному мікроконтролері такої пам'яті просто не існує.

Альтернатива — оптимізація нульового порядку. Вона оцінює градієнти, зондуючи функцію втрат. Потрібна мінімальна пам'ять. Збіжність же настільки повільна, що модель ніколи не досягає корисної точності. Стаття ставить це як дилему: або пристрій має достатньо ОЗУ для зворотного поширення, або він випадає з раунду навчання. Пам'ять стає гейткіпером.

Принцип розподілу обчислень у HO-FL

HO-FL розділяє модель на налаштовуваному кордоні. Шари нижче кордону — нижній сегмент — тренуються оновленнями нульового порядку. Шари вище — верхній сегмент — використовують зворотне поширення першого порядку. Кожен пристрій сам обирає кордон залежно від доступної пам'яті. Телефон запускає зворотне поширення через більшу частину мережі. Сенсор дозволяє його лише для фінального класифікатора. Обидва пристрої все одно вносять внесок у спільну глобальну модель. Сервер усереднює їхні оновлення, не знаючи, які шари використовували який оптимізатор. Автори називають це гібридним фреймворком. Кордон порядку — локальне рішення. Додатковий раунд координації для вирівнювання точок розділу не потрібен. Код опубліковано за посиланням, якого немає в анотації.

Компроміс, що виникає з нерівних розділів

Аналіз збіжності виявляє структурну напругу. Клієнти, що виділяють більше шарів першому порядку, дають оновлення з меншою дисперсією. Їхні градієнти точні, а не оцінені. Якщо сервер частіше вибирає таких клієнтів, глобальна модель покращується швидше. Але дані клієнтів із малою пам'яттю тоді стають недорепрезованими. Стаття пов'язує це зі зміщенням та дисперсією реальних багатокрокових локальних оновлень. Сформульовано задачу оптимізації вибірки, що балансує якість оновлення та охоплення даних. Практичне наближення з урахуванням розмірності дозволяє серверу реалізувати баланс безпосереднім усередненням моделей. Наближення використовує розмір першого сегмента клієнта як показник надійності оновлення. Скільки клієнтів потрапляє в кожен рівень пам'яті у реальних розгортаннях — не повідомляється.

Чого вчили мовні експерименти

Експерименти проводили на мовних задачах. Вимірювали якість виконання задачі та споживання пам'яті клієнтами. Також аналізували поведінку вибірки при гетерогенності даних. Результати показують: гібридне локальне навчання зберігає більшу частину продуктивності повного першого порядку, суттєво скорочуючи вимоги до пам'яті клієнтів. У анотації немає жодного відсотка чи абсолютної цифри пам'яті. Зазначено 30 сторінок і 2 фігури в рукописі. Дата подачі — 30 вересня 2026 року. Автори: Qiyuan Chen, Xian Wu, Yanan Ma, Xianhao Chen. DOI: 10.48550/arXiv.2609.39074.