Як SAKURA робить редагування зображень приватним і швидким на телефонах?

Дифузні трансформери сьогодні двигуть більшість сервісів редагування зображень. Щоб особисті фото не потрапляли на віддалені сервери, поточні системи ділять роботу: хмара зберігає шаблонні дані, телефон обчислює частину, залежну від запиту.

Це розділення створює вузьке місце. Повторно використовуваний стан ключ-значення зростає з кожним шаблоном — заміна обличчя, віртуальне примірювання, перенос стилю — і швидко перевищує місткість телефону. Винесення кешу в хмару вирішує проблему обсягу, але кожен передач стає критичним. На нестабільному мобільному зв'язку завантаження триває довше за саме обчислення.

SAKURA атакує проблему трьома напрямками. По-перше, тонкий компресор, що враховує важливість токенів, стискає кеш перед відправкою з сервера. По-друге, середовище виконання обирає представлення для кожного наступного шарда на основі поточних вимірювань пропускної здатності. По-третє, конвеєрний планувальник перекриває передачу та відновлення з виконанням на пристрої, щоб нічого не простаювало.

Компресор оцінює кожен токен окремо, а не обробляє весь кеш однорідно. Токени, критичні для візуальної якості, зберігають більше бітів. Фонові або надлишкові токени отримують агресивне квантування. Автори повідомляють про скорочення в 3,06 разів порівняно з необробленим кешем без втрати якості зображення.

Під час виконання система стежить за бездротовим каналом. Вона рішає для кожного шарда: надсилати компактне представлення, середнє чи повну точність. Така адаптивна вибірка означає: різке падіння пропускної здатності не зупиняє конвеєр — наступний шард просто йде легшим. Конвеєр працює трьома етапами паралельно: мережа тягне наступний шард, декомпресор відновлює його в пам'яті, дифузна модель споживає попередній. Перекриття ховає затримку передачі за обчисленнями.

Затримка впала в 1,82 рази порівняно з CacheGen, адаптованим до DiT, і в 3,27 разів порівняно з чисто локальною генерацією.

У оцінці використовували три завдання редагування та дві дифузні моделі. Пристроєм був один смартфон на Snapdragon 8 Elite Gen 5. Як виглядає масштабування на інших чипах або з більшими бібліотеками шаблонів — не повідомляється.

Архітектура припускає, що хмара вже має попередньо обчислений KV-стан для кожного шаблону. Створення та оновлення цієї бібліотеки залишаються офлайн-процесом поза межами SAKURA. Стаття не розглядає споживання енергії чи тепловий вплив під час тривалих сесій.

Для власника телефону практична зміна очевидна: той самий приватний потік редагування залишається локальним, але каталог шаблонів росте без заповнення сховища, а очікування після натискання «застосувати» скорочується навіть на дрожчавому зв'язку.