Що відбувається, коли семантичні ідентифікатори перестають марнувати перший токен на спільне для всього?

Новий препринт описує токенізатор, який не дозволяє єдиному спільному шаблону поглинати перший рівень кожного семантичного ідентифікатора. Зміна підвищує hit rate на 7,4 відсотка та MRR на 11,8 відсотка на промисловому пошуковому наборі даних.

Семантичні ідентифікатори перетворюють об'єкти на короткі послідовності токенів. Кожен токен звужує набір кандидатів, поки не залишиться потрібний.

Генеративні системи пошуку та рекомендацій використовують ці послідовності замість щільних векторів. Токени будуються рівень за рівнем. На кожному кроці обирається кодове слово, а різниця — залишок — переходить до наступного рівня.

Як старий конвеєр формує код

Остаточна квантизація вибирає найближчий центроїд із кодової книги. Вона віднімає цей центроїд від поточного вектора. Остача стає вхідом для наступного рівня. Процес повторюється, поки послідовність не досягне фіксованої довжини.

Метод припускає: кожен рівень ловить новий спільний шаблон. Перший рівень має захопити найширшу спільність. Глибші рівні обробляють дрібніші відмінності.

Де припущення ламається

Автори виділяють три режими відмови. Корпусний спільний компонент може заповнити повністю першу кодову книгу. Жорстке призначення гнає кожен вектор у єдиний кошик, навіть коли він лежить між двома центроїдами. Повне віднімання залишає привид обраного напрямку центроїда всередині наступного залишку.

Це накопичується. Перший токен марнує потужність на шаблон, що нічого не розрізняє. Другий токен отримує викривлений залишок. Третій працює з ще більш зашумленим сигналом.

Що змінює PRQ-KMeans

PRQ-KMeans діє в пост-хок режимі. Реконструкція оригінального вектора не потрібна. Три модифікації замінюють стандартний конвеєр.

По-перше, глобальне середнє видаляють до будь-якої квантизації. Перша кодова книга більше не зберігає середнє по всіх об'єктах.

По-друге, центроїди оновлюють зваженою середньою за Top-k схожістю. Вектор тягне своїх k найближчих центроїдів пропорційно схожості. Жорстке one-hot призначення зникає.

По-третє, залишок рахують проєкцією. Віднімають лише компоненту вздовж обраного напрямку центроїда. Ортогональна частина залишається незмінною.

Що показують експерименти

Тести охоплюють великий промисловий пошуковий набір і чотири публічні бенчмарки рекомендацій. PRQ-KMeans посідає перше місце за загальною якістю серед усіх оцінених токенізаторів.

На промисловому наборі HitRate виростав до 7,4 відсотка. MRR — до 11,8 відсотка. Стаття не повідомляє, чи зберігаються прирости на кожній довжині послідовності чи лише на максимальній перевіреній.

Чого стаття не каже

Час навчання та накладні витрати пам'яті не порівнюють. Розмір промислового набору не розкрито. Абляція, що ізолює внесок кожної з трьох змін, відсутня. Дата подачі — 25 серпня 2026 року.