Смартфонные камеры давно перестали быть просто оптическими устройствами, превратившись в сложные вычислительные системы. Известный техноблогер Маркес Браунли (Marques Brownlee) разбирается, почему новейшие флагманы, включая iPhone, порой уступают в слепых тестах более старым или дешевым моделям. Ключ к разгадке кроется в агрессивных алгоритмах постобработки и их попытках переписать законы физики ради «идеального» кадра.
📸 Эволюция мобильной фотографии: от сенсора к алгоритмам 0:01
В индустрии мобильных устройств сложилась парадоксальная ситуация: iPhone, традиционно считающийся одним из эталонов мобильной съемки, раз за разом выбывает в первых раундах традиционных слепых тестов камер. Даже в масштабном научном голосовании, собравшем более 20 миллионов голосов, флагман от Apple финишировал лишь в середине общего списка. Тем не менее Маркес Браунли в четвертый раз подряд присудил iPhone награду за лучшую систему камер по итогам 2022 года.
По мнению ведущего, чтобы понять этот парадокс, необходимо осознать, как сильно изменилась сама природа мобильной фотографии. Раньше камера была исключительно физическим сенсором: затвор открывался, светочувствительная матрица фиксировала фотоны, и финальный кадр напрямую зависел от количества собранного света. Чем больше и качественнее был сенсор, тем лучше получался снимок.
Сегодня процесс создания фотографии превратился в масштабное вычислительное событие. Смартфоны выполняют целый комплекс вычислений в автоматическом режиме:
- Делают серию быстрых кадров с разной экспозицией в момент нажатия кнопки затвора.
- Объединяют полученные данные, проводя тональную компрессию (tone mapping).
- Применяют интеллектуальное шумоподавление и алгоритмы HDR.
В современных реалиях софт играет гораздо более важную роль в формировании финальной картинки, чем физические характеристики линз и матриц. В качестве примера Браунли приводит компанию Google, которая годами использовала один и тот же устаревший сенсор Sony IMX 363 в смартфонах Pixel 3, 3a, 4, 4a, 5, 5a и 6a. За счет идеально настроенных алгоритмов постобработки этот «древний» сенсор позволил недорогому Pixel 6a разгромить технологичные новинки в слепом тесте 2022 года.
⚙️ Ловушка мегапикселей и избыточная обработка 2:49
Проблемы с качеством снимков начинаются тогда, когда производители резко меняют аппаратную часть. Когда Google перешла на огромный 50-мегапиксельный сенсор в Pixel 6, их отточенные алгоритмы дали сбой. Фотографии стали выглядеть излишне резкими («хрустящими») и неестественно контрастными из-за агрессивного HDR-эффекта.
Маркес Браунли объясняет этот технический сбой дефектом преемственности алгоритмов:
- Старый софт был натренирован компенсировать нехватку света на маленьких матрицах.
- Новый крупный сенсор стал захватывать кратно больше световой информации.
- Алгоритмы продолжили работать на максимуме, ошибочно включая высокую светочувствительность и сопутствующее шумоподавление.
- В качестве компенсации за «замыливание» от шумодава система искусственно завышала резкость (sharpening).
В результате фотографии получались буквально переобработанными. Компании Google потребовался целый год работы над ошибками, чтобы адаптировать софт под новое железо в Pixel 7.
Аналогичную проблему прямо сейчас, по наблюдениям автора, проживает Apple с линейкой iPhone 14 Pro. Компания очень долго использовала 12-мегапиксельные матрицы, но в 14-м поколении впервые перешла на массивный сенсор с разрешением 48 мегапикселей. Как утверждает Браунли, именно из-за этого снимки на новейшие iPhone стали выглядеть нестабильно и избыточно обработанными. Блогер прогнозирует, что Apple исправит этот дисбаланс софтверными обновлениями только к выходу iPhone 15 Pro.
👤 Борьба за реалистичность: тени и оттенки кожи 5:40
Вторая и более глубокая софтверная проблема iPhone вскрылась благодаря специфике тестирования. Поскольку объектом съемки во всех слепых тестах выступало лицо самого Маркеса Браунли, это позволило наглядно увидеть, как алгоритмы разных брендов работают с человеческими лицами. Современная камера выдает не объективную реальность, а то, как софтверные инженеры конкретной компании представляют себе «красивую» картинку.
Главная софтверная особенность камер iPhone заключается в том, что алгоритм всегда пытается распознать лица в кадре и максимально равномерно их высветлить. По мнению Браунли, в погоне за этим разработчики Apple начали нарушать законы физики:
- Если реальный источник света расположен строго сбоку, на лице человека обязана быть тень.
- Камера Google Pixel сохраняет эту естественную тень, передавая объем.
- Алгоритм iPhone программно убирает тени, как будто перед объектом поставили отражатель или заполнитель света.
В условиях плохого освещения такое агрессивное высветление делает снимки на iPhone 14 Pro плоскими, неестественными и пугающими, из-за чего устройство и теряет голоса обычных пользователей в слепых голосованиях.
«Когда вы делаете снимок на телефон, вы не обязательно получаете кадр того, что действительно было перед вами», — констатирует Маркес Браунли.
Еще одним важным полем битвы софтверных инженеров стала точная передача цвета кожи. Исторически пленочные, а затем и цифровые камеры калибровались под светлые оттенки, из-за чего темнокожие люди на снимках часто получались недоэкспонированными. Google решила эту проблему созданием технологии Real Tone, обучив нейросети на огромных массивах данных с репрезентацией самых разных этносов.
Apple, как считает ведущий, пока отстает в этом направлении, предпочитая банальное общее высветление вместо точечной работы с балансом белого для разных типов кожи. Именно качественная работа с цветом кожи позволяет смартфонам Pixel выигрывать симпатии голосующих.
🏆 Почему iPhone всё равно остаётся лучшей камерой? 11:29
Несмотря на очевидные проблемы с постобработкой статичных фото, Маркес Браунли защищает свое решение отдать главную награду iPhone 14 Pro. Он напоминает, что любые слепые тесты оценивают сжатые, миниатюрные изображения, лишая пользователя возможности оценить реальную детализацию.
Масштабные голосования в интернете полностью игнорируют ключевые повседневные параметры работы камеры, в которых iPhone удерживает безоговорочное лидерство:
- Скорость и безупречная надежность автофокуса.
- Минимальное время от открытия приложения до фиксации кадра.
- Стабильность работы экспозиции.
- Абсолютное превосходство в качестве записи видео, качестве микрофонов и гибкости форматов данных.
Вывод автора однозначен: современная мобильная фотография — это соревнование программистов, а не оптиков. Красивые картинки, которые выдают смартфоны, формируются преимущественно алгоритмами, и производителям еще предстоит найти тонкий баланс между улучшением кадра и сохранением его достоверности.
