# Time-Travel Rephotography: как нейросети восстанавливают облик Авраама Линкольна

Источник: https://www.youtube.com/watch?v=2wcw_O_19XQ
Канал: Two Minute Papers
Опубликовано: 24.02.2021

---

## 🎩 Реконструкция прошлого: как нейросети «оживляют» Авраама Линкольна
[[JUMP:0:00]]

Современные нейросетевые технологии позволяют совершать настоящие путешествия во времени, восстанавливая старинные фотографии и видеозаписи с поразительной точностью. Автор канала Two Minute Papers, доктор Карой Жолнай-Фехер (Károly Zsolnai-Fehér), представляет новую методику, которая объединяет реставрацию, колоризацию и суперразрешение, позволяя по-новому взглянуть на облик исторических личностей, таких как Авраам Линкольн.

### 🛠 Проблема «пластиковой» кожи и старой оптики
[[JUMP:1:13]]

Старинные снимки часто страдают от множества дефектов: отсутствующих данных, мерцания, избыточной детализации морщин и искаженной цветопередачи. Одной из главных проблем является отсутствие эффекта подповерхностного рассеяния (subsurface scattering) — процесса, при котором свет проникает в кожу, отражается внутри нее и выходит наружу. Именно из-за нехватки этого эффекта лица на старых фото часто выглядят неестественно «пластиковыми».

Ранее попытки реставрации приводили к сохранению этих искажений:

* Морщины оставались неестественно глубокими.
* Губы имели чрезмерное затемнение.
* Детали лица оставались смазанными или терялись.

### 🚀 Time-Travel Rephotography: прорыв в качестве
[[JUMP:2:54]]

Новая технология, получившая название Time-Travel Rephotography, решает эти задачи комплексно. Она не просто восстанавливает пиксели, а фактически «переснимает» исторический кадр с помощью современных алгоритмов.

Преимущества метода:

* **Реализм кожи:** благодаря симуляции подповерхностного рассеяния, кожа выглядит живой и текстурированной.
* **Суперразрешение:** алгоритм добавляет детали там, где их исходно не было, например, в области губ.
* **Сглаживание морщин:** метод приводит их к реалистичному уровню, избегая эффекта «шарпенинга» старых пленок.

### 🧠 Как обучить нейросеть без пары «до и после»?
[[JUMP:3:10]]

Главная сложность обучения заключается в отсутствии «эталонных» пар изображений, где одна и та же историческая личность сфотографирована на старую камеру и современный фотоаппарат. Исследователи применили блестящую стратегию, заменив сложную задачу реставрации более простой задачей морфинга.

Технический процесс выглядит так:

1.  **Генерация «двойника»:** нейросеть создает фотореалистичное изображение некоего человека, который отдаленно напоминает целевую личность и имеет проработанные детали.
2.  **Морфинг:** используя технику StyleGAN2, этот «сгенерированный» человек морфится (трансформируется) в Авраама Линкольна.
3.  **Использование StyleGAN2:** этот инструмент делает процесс морфинга быстрым и эффективным, позволяя избежать трудоемкой ручной реставрации.

### 📈 Прогрессия возраста и перспективы
[[JUMP:4:24]]

Методика способна на большее, чем просто восстановление одного кадра — она поддерживает прогрессию возраста. Если у исследователей есть несколько фотографий человека (например, Томаса Эдисона) в разные периоды жизни, алгоритм может сгенерировать промежуточные этапы старения.

* **Независимость от условий:** алгоритму не важны различия в освещении или позе на исходных кадрах — он успешно справляется с ними.
* **Сравнение с аналогами:** по мнению автора видео, новая техника убедительно превосходит существующие методы колоризации и реставрации, что подтверждают как пользовательские тесты, так и алгоритмические оценки.

Несмотря на прогресс, технология еще не идеальна: в некоторых областях все еще могут возникать шум или размытие. Тем не менее, учитывая, что архитектура StyleGAN2 появилась всего чуть больше года назад, достигнутый результат является колоссальным скачком для индустрии.