Документальный фильм «Социальная дилемма» заставил миллионы людей во всем мире переосмыслить свои отношения со смартфонами и социальными сетями. В рамках проекта Talks at Google режиссер картины Джефф Орловски обсудил с программным менеджером по политике безопасности Google Анишой Бхандари скрытые механизмы работы алгоритмов и долгосрочные последствия рекламных бизнес-моделей для психики и демократии. В ходе часовой дискуссии создатель фильма объяснил, почему современные ИТ-платформы превратились в инструмент деформации общества и как человечество может выйти из этого кризиса.
🎬 От коралловых рифов к кремниевым алгоритмам 0:03
Режиссер, продюсер и оператор Джефф Орловски пришел в тему исследования социальных сетей из сферы экологического документального кино. Его предыдущие работы были посвящены климатическим изменениям:
- Фильм «Ускользающий коралл» (Chasing Coral) получил приз зрительских симпатий на фестивале Sundance в 2017 году.
- Фильм «Погоня за ледниками» (Chasing Ice) в 2012 году удостоился награды Sundance за операторскую работу и был номинирован на премию «Оскар» за лучшую оригинальную песню.
Обе картины демонстрировались в Конгрессе США и на заседаниях ООН. Как отмечает режиссер, его новая работа «Социальная дилемма», мировая премьера которой состоялась на фестивале Sundance в январе 2020 года (после чего права приобрела платформа Netflix), стала логическим продолжением борьбы с глобальными экзистенциальными угрозами.
Интерес к теме зародился у Джеффа Орловски в 2017 году благодаря общению с его университетскими друзьями и коллегами по Стэнфорду, многие из которых устроились работать в Facebook, Twitter и Google. Переломным моментом, по словам режиссера, стало знакомство с тезисами Тристана Харриса о «персуазивном (убеждающем) дизайне» и технологиях манипулирования вниманием. До этого момента Джефф Орловски, по собственному признанию, относился к технологиям исключительно оптимистично, однако вопросы Харриса о том, служат ли алгоритмы общественным интересам и каковы скрытые последствия их бизнес-моделей, заставили его начать масштабное расследование.
🧠 Кукловоды внутри смартфона: как антропоморфизировали алгоритмы 3:08
В процессе создания неигрового кино команда Джеффа Орловски опиралась на интервью с техническими экспертами и инженерами Кремниевой долины. Режиссер признается, что изначально практически ничего не знал об алгоритмах и долго пытался понять, как именно они работают.
Чтобы сделать фильм доступным и понятным для широкой аудитории, создатели решили отказаться от стандартного формата «говорящих голов». Творческая команда пошла по пути антропоморфизации алгоритмических систем, изобразив их в виде трех реальных людей (актеров), которые управляют пользователем как марионеткой.
По мнению Джеффа Орловски, у большинства пользователей соцсетей сохраняется иллюзия свободы выбора и личной агентности в отношении контента. На самом деле, как утверждает режиссер, люди не выбирают «меню», из которого им предлагают потреблять информацию. Алгоритмы фильтруют реальность, создавая ограниченные перспективы, что в конечном итоге приводит к стремительной политической поляризации и вирусному распространению дезинформации.
На основе консультаций с инженерами Facebook и Twitter авторы выделили три главных рычага, которыми оперируют системы персональных лент новостей:
- Рост (Growth) — алгоритмы, нацеленные на постоянное привлечение новых пользователей и расширение сети.
- Вовлеченность (Engagement) — механизмы, удерживающие человека на платформе и заставляющие его проводить там как можно больше времени.
- Реклама (Advertising) — алгоритмы, подбирающие контент под нужды рекламодателей ради максимизации прибыли.
По словам Джеффа Орловски, создание алгоритмов, оптимизированных исключительно под коммерческую выгоду ИТ-корпораций, порождает разрушительные для общества побочные эффекты.
🌐 Жизнь в Матрице и независимость от Netflix 7:37
Во время обсуждения визуального стиля картины Аниша Бхандари отметила, что фильм вызывает явные ассоциации с культовой научно-фантастической лентой «Матрица». Джефф Орловски подтвердил, что его команда регулярно использовал «Матрицу» в качестве творческого ориентира. По мнению режиссера, современное общество уже живет в цифровой матрице, даже не осознавая этого. Оцифровка реальной жизни и создание поведенческих предсказательных моделей стали основой экономики социальных сетей. В качестве примера масштабного сбоя этой системы на общественном уровне Джефф Орловски привел штурм Капитолия в США 6 января, когда стало очевидно, что разные группы населения живут в своих изолированных версиях реальности, напоминающих «Шоу Трумана».
Отвечая на вопрос о парадоксе сотрудничества с Netflix — платформой, которая сама активно использует алгоритмы рекомендаций для удержания внимания, — Джефф Орловски раскрыл детали производства. Фильм создавался и финансировался абсолютно независимо от крупных ИТ-платформ. Проект был замечен и выкуплен Netflix только после премьеры на Sundance в январе 2020 года.
При этом режиссер проводит четкую разницу между бизнес-моделями:
- Подписочная модель Netflix: интересы компании и пользователя, по мнению Орловски, здесь более сбалансированы, так как зритель платит за конкретный контент. На таких платформах дезинформация и теории заговора не распространяются вирусно.
- Рекламная модель соцсетей: сочетание пользовательского контента, машинного обучения и рекламных стимулов создает токсичную среду для расцвета фейков о COVID-19 и политического раскола.
👥 Проблема разнообразия и критика «изнутри» 10:29
Поиск спикеров для фильма начался в 2017–2018 годах через личные связи режиссера в Стэнфордском университете. В то время критика ИТ-индустрии со стороны ее бывших сотрудников находилась в зачаточном состоянии, хотя академические ученые писали об этом годами.
Комментируя упрек Аниши Бхандари касательно очевидного дефицита этнического и гендерного разнообразия среди экспертов в фильме, Джефф Орловски объяснил это спецификой отбора. Инсайдерами Кремниевой долины, которые согласились открыто и под запись критиковать своих бывших работодателей, оказались преимущественно белые мужчины. По мнению режиссера, эта группа спикеров обладала наибольшими привилегиями и наименьшей уязвимостью перед лицом возможных карьерных рисков.
Разнообразие (женщины и цветные эксперты) появилось во второй части фильма, когда повествование перешло от внутренних механизмов к внешней критике со стороны независимых экспертов. При этом Джефф Орловски выразил глубокое сожаление, что на этапе съемок не знал о трудах Сафии Ноубл, автора книги «Алгоритмы угнетения», и не смог включить в фильм сцену с ее участием, посвященную расизму и предвзятости в алгоритмах.
🌋 Экологический кризис внимания: параллели с нефтяной индустрией 13:07
Джефф Орловски проводит прямую аналогию между ИТ-гигантами и нефтедобывающей отраслью. По его словам, сто лет назад обнаружение нефти казалось невероятным прорывом, давшим человечеству авиацию, автомобили и быструю логистику. Лишь спустя десятилетия общество осознало масштаб экологических последствий, ущерб для здоровья планеты и столкнулось с необходимостью регулировать этот бизнес. Точно так же поисковые системы и соцсети долгое время приносили исключительно пользу, но сейчас система набрала опасную инерцию. По мнению режиссера, ИТ-индустрия обладает асимметричной властью и вызывает экспоненциальные изменения в человеческой природе за слишком короткий промежуток времени. Наш информационный экотоп так же уязвим, как и природная экосистема.
При этом режиссер подчеркивает, что не является луддитом и любит компьютеры и камеры с самого детства. Проблема заключается в дисбалансе стимулов. Современные платформы изначально не проектировались для цивилизованного гражданского дискурса. В качестве примера Орловски приводит Twitter, называя его платформой деконтекстуализации, архитектура которой физически не позволяет вести глубокие, нюансированные дискуссии.
🏝️ Эволюция на островах Галапагос: как алгоритмы разъединяют людей 16:20
Режиссер категорически не согласен с тезисом, что рекомендательные алгоритмы — это простое продолжение классической рекламы (например, телевизионной или наружной). Он указывает на принципиальное различие:
- Традиционный билборд: является общим пространством. Его видят все прохожие одновременно. Если на плакате размещена недостоверная или оскорбительная информация, общество может коллективно указать на это и начать дискуссию.
- Персонализированная лента: превращает общественные пространства в «приватные зоны». Каждый пользователь получает свой собственный набор рекламных щитов и контента, сформированный машинным обучением для удержания конкретно его взгляда.
В подтверждение скрытых угроз такой кастомизации Орловски привел историю математика Кэти О’Нил. Когда она работала в рекламной компании, один из инвесторов мимоходом порадовался, что благодаря таргетингу он наконец-то перестал видеть рекламу местных муниципальных колледжей для бедных слоев населения. Для О’Нил это стало моментом прозрения: персонализация в интернете превратилась в инструмент скрытой сегрегации и дискриминации, лишающий людей доступа к возможностям на основе их профиля.
Для описания угрозы поляризации Джефф Орловски использует развернутую аналогию с Галапагосскими островами Чарльза Дарвина:
«В персонализированной ленте новостей каждый из нас находится на своем собственном острове, управляемом индивидуальным алгоритмом. Чем больше вы взаимодействуете с системой, тем быстрее идет эволюция. В дикой природе изоляция островов приводит к видообразованию — генетическому расхождению. Мое опасение заключается в том, что из-за алгоритмов наши идеи (как пакеты ДНК-информации) развиваются в изоляции и отдаляются друг от друга столь стремительно, что люди на крайнем левом и крайнем правом флангах физически теряют способность к коммуникации. Они оперируют абсолютно разными фактами и историями».
Режиссер подчеркивает, что человечество находится внутри этого эксперимента с машинным обучением уже более десяти лет, и продолжение текущего статус-кво лишь усугубит раскол общества.
🔮 Будущее ИТ-платформ: гражданская война или мосты доверия 28:18
По мнению режиссера, первым шагом к решению проблемы является просвещение, ради чего и создавалась «Социальная дилемма». В долгосрочной перспективе необходимо законодательное регулирование, хотя четких и готовых механизмов у юридического сообщества пока нет.
Джефф Орловски видит коммерческий и социальный потенциал в появлении платформ нового типа, ориентированных на создателей контента и не зависящих от рекламы. Среди них он выделяет:
- Patreon — сервис, позволяющий авторам получать прямую финансовую поддержку от своей аудитории без погони за кликами.
- Clubhouse — голосовую платформу (на момент проведения интервью), которая на ранних этапах декларировала отказ от рекламной модели в пользу долгих, содержательных и нюансированных дискуссий.
Режиссер выражает надежду, что новое поколение ИТ-специалистов (представители поколения Z), выросшее под колоссальным психологическим давлением социальных сетей и знающее их изнанку, сможет спроектировать принципиально другие ИТ-архитектуры. Сам Орловски (миллениал, 37 лет) еще помнит эпоху до соцсетей, когда появление первого мобильного телефона с дорогими SMS было событием. Современные 12-летние дети лишены этого опыта: они испытывают перманентный стресс из-за необходимости быть онлайн 24/7.
Говоря о среднесрочных прогнозах на ближайшие пять лет, Джефф Орловски выделил два сценария:
- Пессимистичный: бывший глава отдела монетизации Facebook Тим Кендалл в интервью для фильма прямо заявил, что его главным страхом является гражданская война из-за тотального раскола общества. События 6 января частично подтверждают этот вектор развития.
- Оптимистичный: технологический сектор переживет переоценку ценностей и начнет создавать инструменты, сближающие людей с разными взглядами для решения глобальных проблем вроде изменения климата.
Идеальным исходом режиссер называет признание ИТ-индустрией необходимости полного отказа от текущей бизнес-модели. Ссылаясь на тезисы Шошаны Зубофф, автора книги «Эпоха надзорного капитализма», Орловски поддерживает идею законодательного запрета «надзорного капитализма» и таргетированной рекламы, основанной на слежке за пользователями.
❓ Вопросы аудитории: от удаления Instagram до числа Данбара 40:40
В финальной части встречи Джефф Орловски ответил на вопросы внутренней аудитории Google, которая на момент трансляции насчитывала около 300 сотрудников.
Один из зрителей спросил, являются ли рекомендательные движки «аморальными». Режиссер уточнил терминологию: алгоритмы машинного обучения не «аморальны» (amoral), они «внеморальны» (unmoral). Нейросеть физически не способна оценить этическую составляющую контента, его историческую ценность или вред для общества. Она фиксирует только метрику вовлеченности: если токсичный материал активно комментируют и репостят, система будет продвигать его дальше. В связи с этим Орловски призвал вернуть в цифровую среду институт осознанного человеческого кураторства, сравнив его с работой отборочных комиссий на престижных кинофестивалях.
Режиссер описал кризис восприятия через пирамиду познания: «Данные — Информация — Знания — Мудрость». По его мнению, интернет перенасыщен данными и информацией, но получить из него мудрость невозможно, так как мудрость требует контекста, наставничества и жизненного опыта. Современная молодежь совершает ошибку, считая, что если ответа на вопрос нет в поисковике Google, то его не существует в природе, вместо того чтобы искать авторитетных экспертов и старейшин.
Джефф Орловски поделился личным опытом борьбы с цифровой зависимостью: во время съемок фильма он полностью удалил свои аккаунты (наиболее аддиктивным для него был Facebook). По его словам, это высвободило колоссальное количество творческой энергии. Он сослался на вырезанную из фильма цитату пионера ИТ-индустрии Джарона Ланье:
«Если вы достаточно привилегированны, чтобы позволить себе не иметь аккаунтов в соцсетях, вы несете прямую моральную обязанность удалиться оттуда, поскольку ваше присутствие там легитимизирует и поддерживает систему, уничтожающую других».
В качестве альтернативных, неиспорченных капиталистической экспансией моделей Орловски выделил «Википедию» и Craigslist. Они построены вокруг ценностей сообщества, а не вокруг извлечения сырьевой прибыли из цифрового следа людей.
В завершение дискуссии режиссер напомнил о существовании антропологического ограничения — числа Данбара. Согласно научным данным, человеческий мозг способен поддерживать не более 150 стабильных социальных связей из-за жестких ограничений по времени и объему памяти. Facebook и другие платформы, по мнению Орловски, узурпировали и обесценили само слово «друг». Системы, заставляющие людей гнаться за тысячами фолловеров, ломают естественную психику. Идеальная социальная сеть будущего, по версии режиссера, должна быть искусственно ограничена рамками числа Данбара и оптимизирована под глубину общения с этими 150 близкими людьми, а не под метрику «время на сайте».
