Чому точкові згортки заваджують великим ядрам CNN на телефонах?
Мережі з великими ядрами розширюють рецептивні поля і підвищують точність бачення, але кількість параметрів росте квадратично. Стаття показує: лише точкові згортки дають понад 87 відсотків параметрів у моделях на кшталт RepLKNet-31B, тому зберігання й завантаження стають головною перешкодою на пристроях з 4–12 ГБ ОЗУ.
Чому стандартне стиснення не працює
Глибинно-розділені основи давно стали стандартним прийомом для ефективного зменшення великих ядер у сучасних архітектурах. Дослідники стискають глибинну частину низькоранковим наближенням і спільними вагами, але стаття вказує на критичну сліпу зону: точкові згортки між глибинними етапами. У RepLKNet-31B вони формують понад 87 відсотків усіх параметрів, а та сама картина спостерігається у ConvNeXt і SLaK. На телефоні з 4–12 ГБ ОЗУ модель просто не поміщається, або завантаження забиває шину пам'яті, а сховище заповнюється миттєво.
Математика методу CGS
Автори пропонують структурований низькоранковий підхід, ізоморфний SVD. Спільні матриці проєктування охоплюють групи каналів у шару. Кожна група має власну діагональну матрицю. Дорогі матриці повторно використовуються; групові залишаються дрібними. Параметрів стає менше, розклад еквівалентний SVD.
Ефект на мобільному залізі
Менші чекпоїнти дозволяють моделі поміститися у сховище. Зменшений тиск на шину пам'яті під час завантаження суттєво скорочує затримку. Попередньо натреновані RepLKNet і ConvNeXt з CGS стають придатними для розгортання на периферії. SLaK отримує аналогічний виграш. Метод прийнято на MobiCom 2026, і телефони перестають задихатися.
Джерела, за якими написано статтю
- "arXiv:2608.26069v1
https://arxiv.org/abs/2608.26069v1"