Чому моделі ТБ на основі кашлю провалюються на нових даних?

Цифри виглядають добре, поки не вийдеш за тренувальну вибірку

Запис кашлю триває кілька секунд. Модель вивчає шаблони в цьому звуку і передбачає, чи є у людини туберкульоз.

Дослідники перевірили класичні та глибокі конвеєри машинного навчання на трьох незалежних наборах кашлю. Всередині кожного набору моделі досягали ROC-AUC до $0.755 \pm 0.056$. Це виглядає обіцянково, доки ті самі моделі не оцінюють на даних, яких ніколи не бачили. Зовнішня якість падає нижче 0.6.

Це падіння не випадкове.

Модель запам'ятовує мікрофон, а не хворобу

Аудіо-представлення групуються за пристроєм запису та набором даних, а не за статусом ТБ. Коли автори візуалізували ембедінги, розділення йшло за «залізом», а не за патологією. Модель, натренована на одному рекордери, вчить його відбиток.

Прогнозована ймовірність ТБ у наборі CODA повторює рівень поширення хвороби по країнах. Модель видає вищий ризик для записів з країн з високою превалентністю, навіть якщо сам кашль не несе додаткової інформації. Сигнал, яким користується модель — географічний, а не фізіологічний.

Розбіжність пристроїв погіршує переносність. Навчання на зміші мікрофонів покращує її. Автори показали: модель, що бачила кілька мікрофонів під час тренування, узагальнює краще за модель на одному пристрої. Змінність, яку вносить ланка запису, є сильнішим драйвером поганої узагальненості, ніж зміна популяції.

Клінічна базова лінія перемагає аудіо-моделі на нових даних

Базова лінія, що використовує лише клінічні змінні, узагальнює стабільніше. Вік і стать. Симптоми додають третю змінну. Її ROC-AUC коливається від $0.655$ до $0.711$ по зовнішніх наборах. Аудіо-ознак немає. Клінічна базова лінія перевершує кашлеві моделі на невідомих даних, бо не перенавчається на характеристиках мікрофона.

Висока якість всередині набору — недостатньо. Стаття заявляє це прямо. Зовнішня валідація обов'язкова перед тим, як кашлеві моделі ТБ стануть клінічно готовими. Послання не в тому, що акустика кашлю безкорисна. Послання в тому, що поточні набори даних плутають хворобу з умовами запису.

Чого стаття не каже

Дослідження не повідомляє, скільки з трьох наборів зібрано в клінічних, а скільки — в громадських умовах. Не наводить точну кількість кашлів у кожному наборі. Не називає конкретні моделі рекордерів. Ці деталі залишилися у повному тексті.

Механізм — у ланці запису

Механізм зрозумілий. Звук кашлю несе інформацію про хворобу. Він також несе частотну характеристику мікрофона. Шумовий підлогу кімнати. Кодек стиснення телефону. Відстань до рота. Коли модель бачить лише одну комбінацію цих факторів, вона запам'ятовує саму комбінацію. Коли комбінація змінюється — модель провалюється.

Клінічне розгортання вимагає моделей, що ігнорують ланку запису. Це означає: тренувальні дані мають охоплювати пристрої та середовища. Популяції додають третій вимір. Це означає: валідація має відбуватися на дійсно зовнішніх даних — не на відкладеній частині тієї ж збірки. Поточна література рідко робить хоч одне з цих двох.

Межа твердження

Межа пояснення — набір даних. Стаття оцінює три. Існують інші, де закономірність інша. Автори не претендують на універсальність. Вони стверджують про систематичну перехресну оцінку на трьох наборах, які мали. Те, що спрацювало для цих трьох, не спрацює для четвертого, зібраного за іншим протоколом.

Модель, що працює в лабораторії, але провалюється в клініці — не медичний інструмент. Це лабораторна цікавинка. Дослідження показує: більшість опублікованих кашлевих моделей ТБ — ще саме лабораторні цікавинки. Шлях вперед — не в складніших архітектурах. Шлях вперед — у даних, що відображають світ, з яким зіткнеться модель.