Цифровой взгляд на искусство: как ИИ помогает историкам раскрывать тайны шедевров 0:00
Искусство и технологии, традиционно считавшиеся полярными дисциплинами, сегодня находят точки соприкосновения благодаря развитию машинного обучения и компьютерного зрения. Дэвид Сторк, адъюнкт-профессор Стэнфордского университета и пионер в области компьютерного анализа произведений искусства, в ходе мероприятия Talks at Google представил методики, позволяющие ученым объективно изучать вопросы стиля, освещения и авторства, десятилетиями остававшиеся предметом споров. Сторк утверждает, что искусство ставит перед искусственным интеллектом уникальные задачи, с которыми mainstream-модели, обученные на фотографиях, справляются с трудом.
🎨 Новые вызовы для искусственного интеллекта 2:40
В отличие от традиционных наборов данных, состоящих из миллиардов реалистичных фотографий, искусство требует от ИИ работы в специфических условиях:
- Малые выборки: Художники, такие как Вермеер, оставили после себя лишь около 34 работ, что затрудняет классическое обучение нейросетей.
- Нереалистичность: Живопись часто игнорирует законы физики (например, летающие фигуры), что делает невозможным использование стандартных моделей обучения, основанных на «реальном мире».
- Мультимодальность: Картины представляют собой «слоеный пирог» из рентгеновских снимков, первоначальных набросков (пентименти) и красочных слоев, каждый из которых несет историческую ценность.
- Глубина смысла: В то время как стандартный ИИ описывает лишь поверхностные объекты (человек на велосипеде), искусство требует понимания семантики и авторского замысла.
🔍 Техники анализа: от позы до освещения 6:25
Сторк продемонстрировал инструменты, позволяющие автоматизировать рутинные задачи искусствоведов. Например, анализ позы натурщика теперь выполняется с помощью построения модели углов поворота головы (roll, yaw, pitch). Это позволило обработать 11 000 портретов за пять минут, выявив, что, например, художники японской гравюры укиё-э использовали преувеличенные «актерские» наклоны головы.
Особое внимание уделяется анализу освещения:
- Модель-независимые методы: Анализ теней и «оклюзионных контуров» (внешних границ объектов), где нормаль к поверхности перпендикулярна контуру.
- Модель-зависимые методы: Создание полноценных 3D-моделей сцены. На примере «Девушки с жемчужной сережкой» Яна Вермеера, ученые доказали, что все способы оценки направления света сходятся в одной точке, что подтверждает реальное присутствие модели при написании картины.
⚔️ Спор с Дэвидом Хокни: были ли использованы оптические приборы? 21:01
Одной из центральных тем лекции стал разбор «теории оптики» художника Дэвида Хокни. Хокни предположил, что многие мастера XV века, включая Яна ван Эйка, использовали вогнутые зеркала для проецирования изображения на холст.
Компьютерные методы Сторка позволили опровергнуть эти гипотезы:
- «Святой Иосиф в мастерской» Жоржа де ла Тура: Анализ освещения показал, что источник света находится ровно там, где нарисована свеча, а не в местах, где якобы стояли фигуры.
- «Портрет четы Арнольфини»: Математический расчет фокусного расстояния предполагаемого зеркала-проектора дал результат 18 см, что кардинально расходится с геометрией картины.
- Перспектива: Анализ линий схода люстры показал, что они не сходятся в одной точке, что противоречит утверждению Хокни о «идеальной перспективе», якобы достигнутой с помощью оптики.
🏺 Реставрация истории и глубокая семантика 5:14
Одним из наиболее перспективных направлений Сторк называет «восстановление искусства». С помощью сохранившихся набросков, описаний и нейросетей, обученных на стиле конкретного художника, ученые могут воссоздавать облик утерянных шедевров (например, уничтоженных картин Густава Климта).
Также ученый работает над проблемой распознавания «ванитас»-символики: череп, часы или угасающее пламя в живописи традиционно несут закодированное послание о бренности бытия. Сторк считает, что будущее искусствоведения — в симбиозе: компьютерные ученые должны на 95% идти навстречу искусствоведам, помогая им находить ответы на гуманитарные вопросы.
