Що змінюється, коли штучний інтелект пише кожне речення з власною цілю тональності?

Більшість сучасних систем контролюваної генерації тексту базуються на декодерах. Вони передбачають наступний токен зліва направо. Це забезпечує плавність. Але підхід ламається, коли користувач хоче, щоб третє речення оповідання несе точну негативну інтенсивність, а п'яте — слабку позитивну.

Роботу прийнято до EMNLP 2026. Автори — Шахед Масудіан, Маркус Фроман, Еммануїл Каристінайос, Навід Рекабсаз. До команди також належить Маркус Шведль. Вони переформулюють задачу як відновлення маск замість передбачення наступного токена.

Чому декодери натрапили на межу

Архітектури декодерів використовують причинно-наслідкову увагу. Кожен токен бачить лише попередні. Контроль тональності в таких системах зазвичай зводиться до додавання мітки на початку або глобального керування прихованим станом. Стаття виділяє два поширене спрощення. Перше — трактування тональності як грубої категорії: позитивне чи негативне. Друге — застосування одного тонкого сигналу до всього документа. Жоден з варіантів не вирішує проблему реченного рівня всередині довгого тексту.

Автори зазначають, що складніші налаштування, такі як контроль тональності на рівні речень у довгоформатних текстах, залишаються недостатньо вивченими. Декодери важко задовольняють складні обмеження і слідують дрібнозернистим сигналам тональності, заданним користувачами.

Як відрізняється підхід на базі енкодера

SenseShift застосовує двосторонню увагу. Кожна позиція охоплює повний контекст. Фреймворк квантує сигнали тональності в дискретні сегменти. Потім ітеративно відновлює масковані фрагменти з урахуванням цільової інтенсивності для кожного речення.

Процес йде раундами. Маска накриває токени цільового речення. Модель передбачає їх, спираючись на оточуючий текст і бажане значення тональності. Маска переходить до наступного речення. Цикл повторюється, поки документ не завершиться.

Квантування перетворює неперервну шкалу тональності на зручну множину кодів керування. У статті не вказано точну кількість сегментів. Згадуються лише квантовані сигнали тональності — у множині — без конкретного числа.

Двостороння увага дає змогу моделі узгодити початок речення з його кінцем. Декодери без трюків із попереднім переглядом це не можуть.

Що вимірюють експерименти

Оцінка охоплює генерацію оповідань і відгуків. Базові лінії — більші декодерні моделі. SenseShift демонструє вищу контрольованість тональності. Якість тексту залишається на рівні. Стійкість до генерації поза доменом теж зберігається.

Точні значення метрик у анотації відсутні. Порівнянний результат наведено якісно. Оцінок людської оцінки в резюме немає. Інформації про обчисловий бюджет чи розмір тренувальних даних теж немає.

Стійкість до генерації поза доменом означає, що метод працює, коли теми тесту відрізняються від тренувальних. Анотація не визначає використані домени.

Де закінчується пояснення

Анотація не розкриває розмір енкодера. Не називає базову модель — BERT, RoBERTa чи власну архітектуру. Не каже, скільки ітерацій виконує цикл відновлення. Не згадує, чи квантування навчене чи фіксоване. Посилання на код і дані є на сторінці arXiv, але в тексті не підсумовані.

Дата подання — 25 серпня 2026 року. Версія v1. DOI — 10.48550/arXiv.2608.24304. Розмір статті — 951 КБ.