Як працює федеративне квантове навчання, коли кожен пристрій запускає власний контур?

Федеративне квантове навчання обіцяє тренувати компактні квантові нейромережі на приватних даних, розсіяних по багатьох пристроях. Проблема в тому, що ці пристрої рідко мають однакові апаратні можливості.

Єдина спільна архітектура не підходить кожному клієнту. Деякі процесори підтримують більше кубітів, інші дозволяють глибші контури, а шумові профілі різняться кардинально. Ранні персоналізовані підходи дозволяли кожному клієнту шукати власну архітектуру через квантовий пошук нейромережної архітектури. Це вирішило невідповідність апаратного забезпечення, але створило нову: усереднення параметрів між структурно різними контурами змішує операції без семантичної відповідності.

Чому усереднення параметрів ламається на різних контурах

У класичному федеративному навчанні FedAvg працює, бо кожен клієнт тренує ідентичну архітектуру моделі. Ваги третього шару означають одне й те саме на кожному пристрої. Квантові контури не гарантують такої відповідності. Враховувальна bramка на другому кубіті в п'ятикубітному контурі виконує іншу логічну операцію, ніж та сама bramка на другому кубіті в семикубітному. Навіть при однаковій кількості кубітів різні схеми заплутання змінюють значення кожного параметра.

Персоналізований квантовий пошук нейромережної архітектури дозволяє кожному клієнту обрати контур, що підходить його пристрою. Один клієнт може використовувати апаратно-ефективний анзац з лінійним заплутанням. Інший — проблемоорієнтований анзац із повнозв'язним зв'язком. Простір пошуку включає типи bramок та їх розміщення. Стратегії вимірювання додають ще один вимір. Отримані архітектури не мають шар-до-шарового відображення. Усереднення їх параметрів дає безсмисленну гібриду.

Статя стверджує: це змішування поєднує семантично несумісні операції контурів. Процедури вирівнювання параметрів між гетерогенними квантовими архітектурами не існують. Автори аргументують: обмін прототипами обходить потребу в будь-якому такому вирівнюванні. Метод ніколи не агрегує параметри моделі між клієнтами.

Обмін прототипами як семантичний міст

Прототип — це середнє латентне представлення тренувальних зразків для класу. Клієнт обчислює ці вектори зі своєї натренованої мережі. Оскільки латентний простір визначається архітектурою клієнта, прототипи існують у просторі, зрозумілому лише цьому клієнту. Мітки класів спільні для федерації.

Сервер отримує прототипи по класах від кожного клієнта. Він усереднює однорідні прототипи між клієнтами. Це дає глобальний прототип на клас. Глобальні прототипи не несуть архітектурної інформації; це високовимірні вектори. Сервер розсилає їх усім клієнтам.

Кожен клієнт уточнює локальні прототипи, притягуючи їх до глобальних. Автори називають це використанням глобальних прототипів як федеративних семантичних якорей. Локальна мережа тренується з функцією втрат, що заохочує латентні представлення відповідати уточненим прототипам. Архітектура клієнта залишається незмінною. Жоден параметр не покидає пристрій. Мережу проходили лише класові сумарні вектори.

Що вимірюють експерименти, а чого — ні

Автори повідомляють про покращення точності на 3,70 % порівняно з FedAvg на своєму бенчмарку. Також заявляють про покращене вирівнювання представлень, узгоджене з класами. Порівняння використовує FedAvg як базову лінію, яка припускає ідентичні архітектури у клієнтів. Експериментальне налаштування не розкриває: скільки клієнтів брало участь, яке квантове апаратне забезпечення симулювалося, чи використовувалися реальні шумові моделі пристроїв. Назви наборів даних