Як Q-Strata обирає розрядність для кожного експерта в моделі Mixture-of-Experts?
Нова стаття на arXiv описує Q-Strata — дворівневий розподілювач, який призначає різну розрядність лінійним шарам усередині кожного експерта кожного MoE-блоку. Для тих, хто запускає моделі на кшталт Mixtral-8x7B-Instruct, Qwen1.5-MoE-A2.7B або DeepSeek-V2-Lite, метод знижує перплексію WikiText2 нижче, ніж однорідна розрядність GPTQ та найкращі MoE MPQ методи MxMoE і GEMQ у низькорозрядному режимі.
Проблема розподілу ускладнюється з кожним експертом
Змішана прецизійна квантизація призначає кожному лінійному шару власну розрядність. Мета — мінімізувати втрату якості при фіксованому бюджеті. У щільній моделі кількість шарів невелика. У MoE ті самі шари повторюються усередині кожного експерта кожного блоку. Простір розподілу виростає значно, що ускладнює пошук оптимального рішення.
Існуючі методи вирішують це двояко. Один розподіляє всередині блоку за єдиного бюджету. Інший — між блоками через додатковий проксі. Жоден не оптимізує безпосередньо цільову функцію моделі над виборами, що зв'язують блоки.
Дворівневий розподілювач із кешованим фронтом
Q-Strata пропонує дворівневий розподілювач. Внутрішній етап ранжує внутрішньоблокові призначення дешевим проксі. Він кешує Парето-фронт кандидатів на блок для тонко розставлених бюджетів. Зовнішній етап тоді задає один бюджет на блок замість розрядності для кожного лінійного шару. Пошук скорочується до одного бюджету на блок. Зовнішній етап оптимізує цільову функцію моделі безпосередньо. Це уловлює міжблокове зв'язування, яке пропускають додаткові проксі. Зібрана квантована модель оцінюється під час зовнішньої оптимізації.
Результати на трьох MoE-моделях
Автори перевірили Q-Strata на Mixtral-8x7B-Instruct, Qwen1.5-MoE-A2.7B та DeepSeek-V2-Lite. Порівнювали з однорідною розрядністю GPTQ та найкращими MoE MPQ методами MxMoE і GEMQ. Q-Strata стабільно дає меншу перплексію WikiText2 у низькорозрядному режимі.
Статтю подано 31 серпня 2026. Прийнято як EMNLP 2026 Long Paper для Main Conference. Код доступний за посиланням у статті.
Пробіли
Немає вимірювань латентності. Немає даних про пам'ять після квантизації. Будова дешевого проксі та його вартість не описані. Механізм кешування Парето-фронту не деталізовано. Для рішень про розгортання ці пробіли залишаються відкритими.
Джерела, за якими написано статтю
- "arXiv:2608.30564v1
https://arxiv.org/abs/2608.30564v1"