Що відбувається, коли розрідженість, квантування та низькорангові наближення працюють разом, а не поодинці?

Де кожен метод натикається на стіну

Великі мовні моделі занадто дорогі в експлуатації. Потреби в обчисленнях та пам'яті ростуть швидше за бюджети. Інженери мають три головні інструменти. Розрідженість скорочує операції. Квантування зменшує трафік пам'яті. Низькорангові наближення зберігають точність. Робота стверджує: кожен інструмент сам по собі досягає межі точність-ефективність. Розрідженість залишає прогалини в представленні. Квантування додає шум, що накопичується. Низькоранговість не здатна охопити всі напрямки. Автори кажуть: стіна виникає, бо методи борються за одні й ті самі ступені свободи.

П'ять компонентів, що роблять Триніті робочим

Дисертація будує п'ять систем. MKOR наближає кривину блочно-діагональною розрідженістю та низькоранговим оберненням. Це гарантує чисельну стабільність для квантованих станів оптимізатора. Складність оновлення кривини падає з $O(d^3)$ до $O(d^2)$. Збіжність прискорюється до 1,85× порівняно з KFAC. SLoPe прискорює навчання до 1,25× через подвійно-прореджений зворотний прохід для N:M розрідженості. Ліниві низькорангові адаптери активуються в останніх 1 % навчання, щоб відновити точність. OPTIMA стабілізує статичні маски без повторного навчання. Вона формулює відновлення ваг як глобально оптимальні квадратичні задачі по стовпцях. Zero-shot точність зростає до 3,97 %. PATCH вчиться динамічному гібридному коефіцієнту розрідженості від 0 % до 50 % заданому бюджетом донавчання. Метод ламає потолок статичних маск і дає прискорення до 1,38×. SLiM реалізує повне Триніті за один прохід. Математично виведені низькорангові адаптери відновлюють те, що втрачено через квантування і розрідженість. Точність покращується до 5,66 % порівняно з SOTA. При рівних параметричних бюджетах SLiM перевершує несстиснуті густі моделі на 0,6 %.

Як спільний підхід змінює навчання та інференс

Спільне застосування змінює компромісну криву, показує робота. MKOR та SLoPe діють під час претренування. Вони модифікують оновлення оптимізатора та зворотні проходи. OPTIMA та PATCH працюють після навчання. Вони стискають ваги з донавчанням або без нього. SLiM поєднує все в одному проході. Документ наводить цифри для кожного компонента окремо. Немає єдиного end-to-end запуску, де всі п'ять працюють разом на одній моделі. Дисертація займає 156 сторінок. Розділи розширюють п'ять попередніх статей: MKOR (arXiv:2306.01685), SLoPe (arXiv:2405.16325), OPTIMA (arXiv:2512.13886), PATCH (arXiv:2509.23410), SLiM (arXiv:2410.09615). Дата подачі — 25 серпня 2026 року.

Які питання залишаються відкритими

Анотація не вказує розміри моделей для зазначених прискорень. Не називає апаратні платформи. Не дає скорочення пам'яті в гігабайтах. Не обговорює затримку інференсу при типових для сервінгу розмірах батчів. Це PhD-дисертація. Рецензовані публікації окремих розділів існують на arXiv. Сама уніфікована структура ще не з'явилася на конференції чи в журналі на дату подачі.