Як стиснути градієнти під час навчання, не втрачаючи оцінки впливу?

Дослідники запропонували метод скорочення збережених градієнтів великих мовних моделей до дрібної частини від початкового розміру, зберігаючи здатність відстежувати, як кожен навчальний приклад формує поведінку моделі. Техніка поєднує проєкцію на підпростір, головні компоненти та однобітове квантування, досягаючи ступенів стиснення, які раніше вважалися непрактичними.

Чому зберігання повних градієнтів не масштабується

Функції впливу вимірюють, як окремий навчальний приклад змінює поведінку моделі. Їхне повторне обчислення для різних запитів вимагає доступу до градієнтів усіх прикладів. Повний градієнт моделі з мільярдами параметрів займає гігабайти на приклад. Помножте на мільйони прикладів — і витрати на зберігання стають нереальними. Стаття ставить це як задачу стиснення: зберегти фіксований розмір ескізу кожного градієнта, який все ще дає точні оцінки впливу для запитів, яких не існувало на момент створення ескізу.

Суть підходу

Стискаємо градієнт. Зберігаємо сигнал.

Як EK-FAC знижує розмірність

Запропонований метод названий еігенбазис-скорректоване однобітове проєктування градієнта. Він працює в три етапи. По-перше, EK-FAC зводить сирий градієнт до низькорозмірного підпростору, що охоплює найважливішу інформацію про кривину. Цей крок використовує те, що градієнтні матриці в глибоких мережах мають структуру. EK-FAC наближає матрицю Фішера добутком Кронекера менших факторів. Наближення дозволяє проєктувати високорозмірний градієнт на значно менший підпростір, не втрачаючи напрямки, критичні для оцінки впливу.

Головні компоненти стають базою

PCA знаходить оптимальні напрямки стиснення всередині цього підпростору з розподілу навчальних градієнтів. Головні компоненти обчислюються один раз зі збережених градієнтів. Вони стають базою для усього майбутнього стиснення. Це означає, що стиснення адаптується до реального розподілу градієнтів, спостереженого під час навчання, а не покладається на узагальнені припущення.

Однобітове квантування множить ємність

По-третє, кожну координату квантують до одного біта. Один біт — це лише знак. Це дозволяє утримати значно більше координат у тому ж обсязі пам'яті, ніж будь-яка багатобітова схема. Стаття показує: найгірший випадок аналізу характеризує оптимальне фіксовано-розмірне лінійне представлення. EOGP наближає це оптимум у масштабі, поєднуючи три етапи.

Результати на GPT-2

На GPT-2 метод точніше передбачає ефект видалення навчальних прикладів, ніж оцінені базові лінії, використовуючи шістнадцяту частину їхнього пам'яті на приклад. Базові лінії включають випадкову проєкцію та вибір top-k градієнтів. EOGP перевершує їх за кількома запитами впливу. Стаття не повідомляє час стиснення чи розпакування.

Експерименти з OLMo 2 масштабуються далі

На моделях OLMo 2 з донавчанням під керівництвом від 1B до 32B параметрів підхід залишається конкурентоспроможним з базовими лініями, яким виділено понад у 100 разів більше пам'яті на приклад. Перевага у зберіганні зростає з розміром моделі. Експерименти охоплюють дві родини моделей та діапазон розмірів, але не включають моделі понад 32B параметрів.

Чого стаття не каже

Вона також не каже, як метод поводиться, коли розподіл тестових запитів суттєво відхиляється від розподілу навчальних градієнтів, що використовувався для вивчення напрямків PCA. Чи зберігаються ті самі співвідношення пам'яті для моделей з сотнями мільярдів параметрів — відкрите питання. Найгірший випадок аналізу характеризує оптимальне фіксовано-розмірне лінійне представлення, але не доводить, що триетапний конвеєр досягає цього оптимуму для кожної архітектури моделі.