Як QuantForge знаходить кращі рецепти чотирибітної квантизації без людського перебору?

Чому чотирибітна квантизація залишається складною

Чотирибітна посттренувальна квантизація зменшує пам'ять великих мовних моделей. Формат MXFP4 W4A4 вимагає, щоб кілька проектних рішень працювали одночасно. Координатні перетворення змінюють помилки блочного кодування. Ці помилки переформовують залишки, що проходять через мережу. Оскільки корисне алгоритмічне розбиття невідоме до пошуку, інженери не можуть просто взяти готовий рецепт. Еволюція програм, керована LLM, дає спосіб дослідити простір. Оцінки продуктивності самі по собі не пояснюють, яке рішення змінити далі. Вищий бал може виникнути через удачу, а не через принципове покращення. Без пояснення наступна мутація — лише припущення.

Суть проблеми

Пояснення важливіші за оцінки.

Як QuantForge проводить контрольовані експерименти з кодом

QuantForge фіксує конкуруючі пояснення того, чому програма працює. Потім система обирає контролі, що розрізнюють ці пояснення. Перевіряється, чи реалізує наступний код отримані висновки. Така компіляція залишків керує правками програми, зберігаючи корисні варіанти навіть тоді, коли їхні початкові пояснення відхилені. Повторний вимір оновленої програми виявляє наступну помилку. Цикл триває, поки не вичерпається бюджет викликів оцінювача.

Експериментальне доведення

У порівняннях з однаковим бюджетом кожен запуск отримав 240 викликів оцінювача. QuantForge досяг цільового переносу у шести з восьми запусків. Текстова пам'ять і рефлексивна пам'ять успіли по три рази. Еволюція лише за оцінками спрацювала один раз. QuantForge також оцінив менше нових програм за базовими лініями.

HiRes працює в три етапи

Процес виявив HiRes — фіксований квантизатор MXFP4. Перший етап формує координати. Другий уточнює допустимі призначення кодів. Третій відновлює помилки вздовж шляхів уваги та MLP. Кожен етап діє на залишки, виміряні після попереднього.

Результати та обмеження

На семи задачах HiRes дає найнижчу семи-модельну Robust Fit — 0,09300. Також досягає найнижчої квантизованої Fit-7 при 32B. Стаття не повідомляє затримки чи енергоспоживання знайденого квантизатора. Не описано поведінку методу на моделях більших за 32B.

Що це змінює

Перетворення контрольованих доказів на наступні зміни коду покращує пошук переносних алгоритмів PTQ. Експерименти охоплюють сім задач і один розмір моделі. Чи масштабується той самий цикл до більших моделей чи інших форматів квантизації — відкрите питання. Вихідний код та артефакти пов'язані з записом arXiv для подальшого вивчення.