Чому зливання моделей провалюється, коли задачові вектори вказують не ту сторону?

Зливання моделей за допомогою арифметики завдань працює — аж доти, поки не перестає. Рік за роком галузь звинувачувала величини.

Нова стаття відстежує точний перехресний член злитих LLM через факторіальний реєстр і безпосередньо втручається в нього. Величина виявилася недостатньою — і нестабільною між сімействами моделей — як діагностична вісь.

Потік не в числах

Точний розклад шароного потоку показує: він переважно складається з транспорту, що підсилює існуючий перехресний член. Цей транспорт дає ~65-70% у обох сімействах. Приріст перевищує 1 на пізніх блоках. Видалення члена скасовується поширенням. Система відновлює його до 99% норми при косинусі 0,99, якщо стирання не знаходиться біля виходу.

Напрямок несе вагу

Тест басейну з шістьма початковими зсувами встановлює перенесений напрямок як атрактора прямого проходу. Цей напрямок є причинно значущим. Стирання вздовж нього усуває виражену перешкоду пропорційно інтенсивності і насичується при точному вилученні. Контролі з однаковою нормою, але неправильним напрямком, провалюються. А іноді навіть шкодять.

Обгортки заглушують сигнал

Інструкційні обгортки регулюють ефект. Те саме стирання знаходить у 13 разів меншу відносну перешкоду для видалення під обгорткою, що внутрішньо підсилює перехресний член. Обгортка заглушує взаємодію в шаблонно-зафіксованому головному ефекті, а не зменшує її. Ця структура повторюється для інших інструкційних шаблонів, але не під контрольним зразком з однаковою довжиною.

Величина — грубий корелят

Вражаюча ±15% «універсальність» наївної генерації bfloat16 виявляється шорсткістю квантування. Пари задач, чия локальна генерація перехресного члена відрізняється максимум у 1,9 раза, розрізняються у 14–337 разів за перешкодою, яку можна вилучити причинно.

Усі 46 прогнозів були попередньо зареєстровані і заморожені до отримання даних. Фальсифікації — включаючи власні головні очікування авторів і поведінкове відновлення за перевіреним безперервним кінцевим показником — повідомлені як такі.

Стаття не каже, чи можна передбачити напрямок атрактора до зливання. Не каже, чи тримається 13-кратний ефект обгортки для кожного стилю промпта. Не каже, як обрати шар стирання в практиці.