Як Google DeepMind відновив 70-річну історію кохання, якої не було на плівці?

Новий документальний короткометражний фільм «Любов, відтворена» показує літню пару, яка спостерігає, як день їхньої зустрічі оживає на екрані. Цей момент існував лише в їхніх спогадах, доки штучний інтелект не відновив його за старих фотографіями та сучасними манерами поведінки.

Пара та спогад без фотографії

Бурт і Етел Шац перебувають у шлюбі понад 70 років. У Бурта когнітивний спад. Один спогад не залишає їх обох — день зустрічі у студентській кооперативу Клівленда. Жодна камера його не зафіксувала. Плівки не існує. Сповідь жила лише в двох старіючих розумах.

Режисерка Ліз Гарбас хотіла зробити цей спогад видимим. Вона залучила Google DeepMind і Primordial Soup. Проєкт став співпрацею інженерів і кінотеатральців. Майкл Чан очолив технічну частину. У його дідуся був інсульт і втрата пам'яті перед смертю. Останній раз, коли Чан приїхав, дідусь переконано вважав, що все ще студент і закінчує коледж. Той гірко-солодкий момент ніколи його не залишав. Коли розпочався проєкт, Чан попросив батька старі родинні фото. Він перевірив відновлення зображень на снімках, де його батьки познайомилися, і оживив їх відеомоделями. Спостереження за рухами батьків як двадцятирічних переконало: ці інструменти вміють утримувати найдорожче від згасання.

Два технічні шари створили сцену

Відновлення базувалося на двокроковому підході. По-перше, генеративні моделі відновили чорно-білі фото Бурта і Етел у молодості. Відновлені зображення стали опорою для кожного подальшого кадру. По-друге, моделі захоплення руху наклали сучасні мікроманерності на молоді обличчя. Специфічний нахил голови Бурта. Коротка пауза у його мові. Легка морщинка навколо очей. Інженери завантажили ці риси в модель. Результат поєднав минулу зовнішність із теперішньою поведінкою. Для пари це виглядало правдоподібно.

Етел контролювала кожен кадр

Етел сиділа поруч з інженерною командою. Вона виправляла вигин сходинки. Коригувала форму п'ятки черевика. Її голос керував штучним інтелектом, як пензлем художник. Даррен Аронофський порівняв технологію з пензлем. Вона нічого не робить, поки людські руки її не ведуть. Фільм демонструє цей принцип у кожному кадрі.

Ліз Гарбас бачила, як fMRI-сховища світяться, коли пацієнти чують знайомі голоси. Вона також бачила реакцію на зображення близьких. Років пізніше Даррен Аронофський натрапив на запис колишньої балерини з Альцгеймера. Танцівниця інстинктивно виконала хореографію «Лебеднього озера» з візка. Ці спостереження привели творчу групу до терапії спогадів. Та клінічна практика використовує сенсорні сигнали для стимуляції пам'яті. Пісні — один сигнал. Родинні історії — інший. Старі фотографії — третій.

Від документального фільму до додатку Gemini

Будь-хто може спробувати версію такого відновлення. Відкрийте додаток Gemini. Завантажте зображення старого фото. Запитайте: «Чи можеш ти відновити та забарвити це фото? Збережи зовнішність і вираз обличчя. Не змінюй позу людей». Додаток використовує подібні генеративні моделі. Він не анімує відео. Працює лише зі статичними зображеннями. Фільм доступний для перегляду онлайн. Посилання є в кінці статті блогу Google.

Де закінчується пояснення

Документальний фільм не розкриває бюджет обчислень. Не називає конкретні версії моделей. Не вимірює точність щодо еталону. Жодне клінічне дослідження не підтверджує терапевтичний ефект. Реакція пари на екрані, але їхня приватна оцінка залишається приватною. Технологія спрацювала для однієї історії. Чи масштабується вона на інші родини з іншими фотоархівами — відкрите питання.