Що StateBench показує про відстеження станів мовними моделями в довгих текстах

Чотири рівні зростаючої складності

StateBench розділяє задачі відстеження стану на чотири рівні складності. Кожен рівень відповідає класу операцій присвоювання, які знають програмісти. R-trivial використовує незмінне присвоювання — значення змінної ніколи не змінюється, тому модель лише відновлює початкове значення. Аперіодичні задачі дозволяють переприсвоювання значенням; модель повинна знайти останнє значення і ігнорує попередні. Розв'язувані додають самопосилаючі оновлення, де кожне оновлення ґрунтується на поточному значенні, змушуючи модель переносити зміни вперед. Загальні скінченні додають присвоювання посиланням, коли одна змінна приймає поточне значення іншої, створюючи залежності між оновленнями.

Фокус з кулями та стаканами ілюструє найскладніший рівень. Куля ховається під одним із п'яти стаканів; фокусник багаторазово міняє їх місцями. Знайти кулю означає відстежувати, як ці обміни змінюють її розташування. Ця задача S₅ належить до загального скінченного рівня і з'являлася у попередніх роботах про межі відстеження стану.

Усі чотири рівні StateBench використовують однакову кількість змінних і різних значень. Присвоювання з'являються в тих самих точках послідовності. Змінюється лише тип присвоювання.

Попередньо навчені моделі натрапили на стіну

Дослідники перевірили низку відкритих попередньо навчених моделей на рівнях r-trivial, аперіодичному та загальному скінченному. Дві моделі з 7 мільярдами параметрів — Olmo 3, трансформер, і Olmo Hybrid, який додає шари Gated DeltaNet — оцінювалися поруч з меншими моделями на 275 мільйонів і 2,7 мільярда параметрів. Усі моделі спільні тренувальні дані. Жодна не бачила контекстів довше 64 000 токенів під час навчання, проте більшість тестувалися на вхідних даних значно за цією межею.

Майже всі моделі добре виконалися на r-trivial. Точність впала на аперіодичних задачах із зростанням вхідних даних. На загальних скінченних моделі залишилися на рівні випадкового вибору.

Формат задачі мав значення: гібридна модель на 275 мільйонів параметрів і Gated DeltaNet набрали майже максимум на r-trivial у форматі RULER, але були на рівні випадку на тих самих задачах, оформлених як редагування електронних таблиць. Ця розрив — одна з причин, чому StateBench перевіряє одну й ту саму базову задачу в кількох форматах.

Фронтові моделі все одно ламаються

Чотири фронтові моделі — Gemini 3.8 Flash і Claude Opus 5.5. Тестування охопило також GPT-6 Sol і Luna — отримали завдання прочитати кожну послідовність присвоювань і згенерувати кінцеве значення кожної змінної. Усі чотири добре виконалися на r-trivial і аперіодичних. На розв'язуваних і загальних скінченних точкість різко впала зі зростанням довжини, впавши до 13 % або нижче на найдовших загальних скінченних. Однією з причин, ймовірно, є чутливість; на цих складніших рівнях набагато більше кроків впливають на кінцевий результат, залишаючи менше місця для помилки моделі.

Пряме навчання розділяє архітектуру та дані

Команда навчила з нуля кілька моделей на 275 мільйонів параметрів на StateBench: два варіанти трансформерів і два гібриди. Додано ще два варіанти Gated DeltaNet з різними обмеженнями оновлення пам'яті. Моделі навчалися на послідовностях до 256 присвоювань і тестувалися на послідовностях аж до 64 000 — у 250 разів довше за максимум навчання.

Архітектури почали розходитися зі зростанням довжини. Gated DeltaNet і гібриди узагальнили майже ідеально на r-trivial, аперіодичних і розв'язуваних аж до найдовших перевірених послідовностей, десятків тисяч присвоювань. Трансформери вивчили легші рівні, але деградували на довгих послідовностях, і ніколи не вивчили загальні скінченні. На найскладнішому рівні варіант Gated DeltaNet з більш гнучким оновленням пам'яті узагальнив найдаліше, залишаючись майже ідеальним аж до приблизно 10-кратної довжини найдовших послідовностей, що він бачив під час навчання.

Для Gated DeltaNet і гібридів розрив вказує на навчання, а не на архітектуру; навчені безпосередньо, вони навчилися обробляти рівні відстеження стану, які їх попередньо навчені аналоги не змогли. Трансформери виявилися іншими — навіть з прямого навчання вони ніколи не змогли вивчити найскладніший рівень.

Залишаються відкриті питання

Нове доведення показує: Gated DeltaNet з обмеженим оновленням пам'яті — невід'ємні власні значення — вирішує всі аперіодичні задачі і певні періодичні, наприклад, відстежувати, чи повторювався вхід парну чи непарну кількість разів, у фіксованій арифметиці з округленням статті. Його точне місце в ієрархії залишається відкритим, включаючи, чи вирішить він всі розв'язувані задачі і як числова точність або поєднання з шарами уваги впливають на здатності.

Бенчмарк також припускає фіксовану кількість змінних, тоді як реальні задачі часто вводять нові об'єкти з часом. У довгій розмові нові люди та предмети можуть з'являтися по ходу справи, і модель має починати відстежувати їх теж. Поточний фреймворк ще не охоплює цей сценарій. Як з'являються нові види рекурентних і гібридних архітектур, розуміння того, які види відстеження стану обробляє кожна з них, спрямує розробку та навчання майбутніх систем.