Як OrBIT стискає таблиці ембеддингів у 37,9 разів, вчаючися власній геометрії?

Таблиці ембеддингів лежать в основі кожної сучасної мовної моделі. Вони відображають кожен токен у вектор, а ці вектори можуть займати більше пам'яті, ніж решта мережі разом узята.

Звичайно стиснення обирає геометрію — координатні блоки або підпростори низького рангу. Також використовують необмежені кодбуки. А потім оптимізує всередині цього вибору. OrBIT ставить питання: чи можна вивчити геометрію замість цього?

Динаміка орбіт замінює ручно створену геометрію

Більшість методів визначає геометрію кодування до роботи з даними. OrBIT діє навпаки. Вона видобуває локальну геометрію з динаміки орбіт — руху ембеддингів при повторних перетвореннях — і будує карти з цієї структури. Кожна карта покриває область простору ембеддингів власною системою координат. Карти перекриваються. Помилки в одній зоні виправляють сусіди при склеюванні уривків.

Теорія доводить три речі. Геометрія щільних карт контролює спотворення. Глобальний залишок керує послідовним розподілом бюджету кодування. Уточнення, яке веде даною геометрією, покращує кодек. Після навчання апарат орбіт компілюється і видаляється. Залишається компактний декодер, де вивчена структура вирішує, що зберігати, куди йде потужність і як локальна інформація збирається в цілісне.

Результати стиснення на реальних таблицях

Автори перевірили OrBIT на чотирьох таблицях ембеддингів LLM. На GPT-2 метод дає стиснення 37,9× відносно 16-бітного зберігання. На кожній 7B-таблиці результат перевищує 23×. Якість за критерієм «швидкість-спотворення» залишається конкурентоспроможною з перевіреними квантувальними та низькоранговими базалайнами.

Що насправді зберігає декодер

Фінальний декодер містить невелику множину спільних кодових слів. Вивчена структура підказує декодеру, яке кодове слово до якої карти належить і як змішувати перекривні зони. Обчислення орбіт не запускаються під час інференсу. Геометрія, відкрита під час навчання, стає статичною картою, запеченою у вагах декодера. Це означає: коефіцієнт стиснення безпосередньо зменшує розмір збереженої моделі без накладних витрат під час виконання.

Підхід змінює проектне питання: замість «яка фіксована геометрія найкраща?» — «як дозволити даним показати власну геометрію?». Для інженерів, що розгортають LLM на обмеженій пам'яті, це може означати: модель, що раніше потребувала двох GPU, поміститься на одну. Стаття не вимірює зміни латентності інференсу після компіляції