Чому пам'ять агентів IBM витрачає в сім разів менше токенів, ніж ACE?

Агент провалює багатокрокове завдання. Він неправильно пагінує API. Вирішує не ту особу. Повертає значення, про яке ніхто не просив. Модель знає API. Але не засвоїла, як користуватися ними надійно.

Цю прогалину можна закрити. ACE і ALTK-Evolve добурять уроки з власних траєкторій агента. Обидві перетворюють невдачі на повторно вживані знання. Обидві повертають їх на етапі інференсу. Без оновлення ваг. Без людської розмітки.

Що обидві системи категорично не роблять

Стискання. ACE називає режими помилок: упередженість до короткості та колапс контексту. Його відповідь — детальний посібник з лічильниками корисності/шкоди для кожного пункту. Модель сама визначає релевантність під час читання.

ALTK-Evolve приходить до того ж висновку з іншого боку. Кожна унікальна рекомендація має лічильник підтримки — скільки незалежних епізодів її породило. Сховище ніколи не зводиться до горсти правил. Урок, відкритий у п'яти задачах, — це інший об'єкт, ніж той, що з'явився раз. Обидва варті зберігання.

Рахуйте. Не зливайте. Лічильники ACE для кожного пункту та лічильники підтримки ALTK-Evolve — дві форми однієї ідеї.

Де розходиться рахунок токенів

Консолідація відрізняється. ACE розширює один посібник циклом Генератор → Рефлектор → Куратор з інкрементальними оновленнями та дедублікацією на ембеддингах. ALTK-Evolve групує майже дублікати в кластери та об'єднує всередині, зберігаючи суму підтримки — переможець отримує спільний лічильник. Система також виділяє типізовані рекомендації — стратегія, відновлення, оптимізація — з причинно-наслідковим зв'язком і провенансом до вихідної траєкторії на рівні підзадач.

Доставка — тут цифри розділяються. ACE впроваджує повний посібник на кожному кроці, однаково для будь-якої моделі чи задачі. ALTK-Evolve ставить доставку на регулятор. Малий фіксований ядро високої підтримки. Розширення під задачу кількома відібраними рекомендаціями — косинусним чи LLM-керованим, з пріоритетами. Або повний консолідований набір, коли модель має запас контексту.

Однакові уроки доступні обом агентам. ACE завжди надсилає всі. ALTK-Evolve надсилає стільки, скільки конкретна модель здатна реально використати.

Що насправді показують бенчмарки

AppWorld. 168 задач. ReAct code-агент. Пам'ять видобута лише з train/dev. Одиночні запуски, pass@1. Цифри ACE — власні запуски IBM на тих самих розділах і базових моделях.

DeepSeek-V3.2. ACE: 80.4 TGC, 73.2 SGC, 634K токенів на задачу. ALTK-Evolve: 89.3 TGC, 80.4 SGC, 263K токенів на задачу. Краще за обома метриками при приблизно сорока відсотках витрат ACE на інференс.

gpt-oss-120b. ACE: 54.8 TGC, 35.7 SGC, 777K токенів на задачу. ALTK-Evolve: 56.0 TGC, 37.5 SGC, 116K токенів на задачу. Точність фактично однакова — повторний запуск ALTK-Evolve дав 54.8, майже точно повторюючи ACE, у межах шуму бенчмарку. Вартість — близько сьомої частини.

Лічильники рекомендацій розповідають історію. DeepSeek-V3.2: ACE використовує 106 рекомендацій, ALTK-Evolve — 191. gpt-oss-120b: ACE бере повний посібник, ALTK-Evolve — близько 29 відібраних.

Чому слабша модель малює іншу картину

На gpt-oss-120b ACE перемагає на Easy і Medium. Повний промпт допомагає більше, ніж відволікає, коли задачу вирішує загальне слідування інструкціям. Але на Hard, де модель має вибрати правильний урок, а не продиратися через всі, куроване пошукове витягування виходить уперед — і цей ярус вирішує агрегат.

На DeepSeek-V3.2 історія перевертається. Сильніша модель добре переварює повний посібник ACE і обходить ALTK-Evolve на Medium. Але ALTK-Evolve лідерує на Easy, Hard і Overall. Запас потужності дозволяє доставляти більше уроків способом ALTK-Evolve — вони продовжують допомагати, а не витісняти один одного.

Кожна модель отримує свою оптимальну конфігурацію. Повний консолідований набір для потужної. Селективне витягування для слабшої. Великий контекст перевантажує слабшу модель замість допомоги.

Таблиці за складністю це підтверджують. gpt-oss-120b базова 39.9 TGC. ACE досягає 54.8. ALTK-Evolve — 56.0. Hard: базова 19.1, ACE 23.8, ALTK-Evolve 31.8. DeepSeek-V3.2 базова 79.8 TGC загалом. ALTK-Evolve досягає 89.3. ACE — 80.4. Hard: ALTK-Evolve 77.8, ACE 61.9.

Ефективність ACE — у дешевому будівництві контексту. ALTK-Evolve працює на іншій осі — подачі. Витягування кількох рекомендацій на задачу замість впровадження всього посібника на кожному кроці — саме тут йдуть токени. Пряма наслідок різниці в доставці.

Саме скільки впроваджувати і як це масштабується по спектру здатностей — тема наступного допису.