Як новий метод розподіляє біти між шарами нейромережі в 2570 разів швидше?

Стаття на arXiv описує спосіб стиснення нейромереж із вибором точності для кожного шару окремо. Метод обходить повільний пошук, що потрібен старим підходам, і працює навіть за зашумлених калібраційних даних.

Чому змішана точність залишає складною

Змішано-точна пост-тренувальна квантизація призначає бітову ширину кожному шару в рамках єдиного бюджету пам'яті. Калібраційна вибірка мала. Простір пошуку зростає комбінаторно. Ранніші методи покладаються на зовнішні солвери або ітеративні евристики, що працюють години. Вони також ламаються, коли калібраційні зразки містять пошкодження. Стаття трактує обидві проблеми як наслідки однієї прогалини: відсутності чистого розділення між помилкою, яку вносить шар, і помилкою, яку він лише передає далі.

Розділений показник без солвера

Автори виводять шаро-по-шару ймовірнісний аналіз помилки квантизації. Виведення розбиває загальне збурення на локальний і поширений доданки. Локальний залежить лише від власних ваг шару та розподілу калібрації. Оскільки він розділений, виділення ресурсів зводиться до простого жадібного ранжування. Жодного цілочисельного програмування. Жодного підсилення. Жодної диференційованої релаксації. Алгоритм сортує шари за показником і заповнює бюджет зверху. Увесь цикл виділення — саме це.

Працює.

Приріст швидкості на DRUNet

Експерименти використовують DRUNet на задачах знешумення з середнім бюджетом 4 біти на вагу. При чистій калібрації метод досягає або перевершує існуючі базлайни змішаної точності. Коли калібраційна множина пошкоджена, розрив зростає. Пік сигнал-шум покращується аж до 7,5 дБ при тестованих пошкодженнях. Прискорення розподілу бітів сягає від 28x до 2570x порівняно з вивченими базлайнами. Найшвидший запуск закінчується за секунди.

Дифузійні моделі виграють без переробки

Фреймворк застосовується безпосередньо до квантованих дифузійних моделей. Архітектурних змін немає. Перетренування не потрібне. Той самий розділений показник керує виділенням. Результати демонструють перевагу над попереднім SOTA для цього класу моделей. Стаття не наводить настінний час для дифузійних експериментів.

Що змінюється для власника моделі

Можна квантизувати велику мережу до змішаної точності на ноутбуці за час заварювання кави. Калібраційна вибірка може бути малою і неідеальною. Код виділення не має зовнішніх залежностей. Метод не гарантує конкретну точність для кожної архітектури. Автори зазначають: ймовірнісна оцінка припускає близькість калібраційного розподілу до тестового. Наскільки це припущення стійке на практиці — у документі не оцінюється.