Як розділення логіки та персони захищає малі моделі на периферійних пристроях від забруднення контексту

Дослідники з AO, Inc. та OrbLabs AG опублікували препринт, що розділяє логіку та стиль у малих мовних моделях, які працюють локально. Архітектура тримає логічний промпт компактним і стабільним, тоді як адаптер персони перемикається за мілісекунди.

Одне вікно контексту — дві задачі

Мала модель на ноутбуці або телефоні повинна звучати як обраний персонаж і одночасно видавати правильний структурований вивід. Обидві вимоги ділять одне вікно контексту. Воно розширюється з кожною реплікою та кожною системною інструкцією. До того ж розробник вставляє few-shot приклади.

Проблема перехресних впливів

Коли історія стає довгою і перевантаженою персоною, логічна частина відповіді починає ламатися. Автори називають це перехресним впливом персони на логіку. Логіка дає збої. У стандартному однопрохідному промпті модель бачить увесь діалог та опис персони. Специфікація завдання додається до того ж контексту. У Llama-3.1-8B-Instruct промпт роздувається від 242 токенів на найчистішому рівні до 1203 токенів на найбруднішому. У Gemma-3-4B-it відбувається те саме зростання. Сукупна оцінка логіки впадає від 0.669 до 0.150 на Llama та від 0.487 до 0.150 на Gemma. Більшість помилок — не невірне розсудження, а відсутній або пошкоджений структурований вивід: 80–95 % запусків на Llama і 100 % на Gemma на двох найвищих рівнях забруднення.

Архітектура з розділенням відповідальності

AO-DA розділяє роботу на два шляхи виведення на тій самій INT4 базовій моделі. Логічний шлях отримує лише поточний основний обмін і видає перевірний мікро-стан. Його промпт залишається фіксованим — 180 токенів для Llama і 167 для Gemma — незалежно від рівня забруднення. Виходи є побайтово ідентичними на всіх чотирьох рівнях у 40 з 40 запусків. Шлях персони бере цей мікро-стан плюс повну історію і рендерить остаточну відповідь у характері. Окремий LoRA-адаптер обслуговує кожен шлях; вони гаряче перемикаються за 1,7 мілісекунди.

Що показують числа

На 8B моделі розділений логічний шлях дає збої в 0–20 % запусків проти 80–95 % у однопрохідному варіанті. Парне покращення Δ сягає +0,30…+0,50, Cliff's δ — 0,50…0,85, p ≤ 0,03 після корекції Гольма. На 4B моделі обидва підходи колапсують. Препринт не пояснює, чому менша модель не виграє від того ж розділення.

Вартість і компроміс

Перша репліка теми вимагає один додатковий декод: 28,2 секунди проти 18,2 секунд на Llama на ноутбуці Apple M2. Далі логічний шлях повторно використовується, а міняється лише адаптер персони. У релізі — код та рубрика оцінювання, а також фікстури забруднення. Адаптери та повні логи запусків також доступні. Скільки пристроїв уже експлуатують таких агентів у продакшні — у препринті не згадується.