Марк Акерман, профессор Мичиганского университета и один из пионеров в области взаимодействия человека и компьютера (HCI), выступил на семинаре в Стэнфорде с необычным докладом — «Mea Culpa» (моя вина). В своей речи он подверг критическому разбору собственные многолетние исследования, признав, что благие намерения ученых-технологов часто приводят к непредсказуемым и разрушительным социальным последствиям: от расцвета дезинформации до формирования «капитализма слежки».
📉 Исповедь технооптимиста: как добрые намерения мостят дорогу в ад 0:09
Марк Акерман начал свое выступление с метафоры «недооцененных проблем при запуске» . Ссылаясь на случай с космической обсерваторией, где дефектные детекторы заставляли ученых видеть несуществующие галактические объекты, он предположил, что вся область компьютерно-опосредованной совместной работы (CSCW) страдает от подобных фундаментальных ошибок.
По мнению Акермана, исследователи слишком долго жили в рамках «утопического воображаемого», веря, что технологии объединят мир . Однако на практике выход идей из лабораторий в реальный мир привел к возникновению «злых проблем» (wicked problems) — сложных социальных вызовов, которые невозможно решить только кодом .
Спикер выделил два ключевых направления, где его работа (и работа его коллег) привела к негативным результатам:
- Распространение дезинформации: технологии обмена знаниями стали почвой для теорий заговора.
- Капитализм слежки: попытки создать протоколы приватности в итоге помогли индустрии избежать государственного регулирования.
👺 От обмена опытом к 8chan: темная сторона онлайн-сообществ 0:13
В 1990-х годах доминировала идея Говарда Рейнгольда о том, что интернет поможет людям лучше узнать друг друга и жить в гармонии . Акерман занимался системами «обмена экспертизой» — это казалось исключительно полезным. Он привел пример из исследования Вашингтонского университета: учительница начальных классов, проходящая химиотерапию, смогла найти поддержку и советы от других преподавателей в похожей ситуации — то, чего не мог дать ни один врач .
Однако эта же механика обмена информацией привела к катастрофическим последствиям:
- Кризис доверия: по данным, приведенным спикером, около 60% американцев верят, что правительство скрывает правду о вакцинах, а 43% считают, что система здравоохранения проводит тайные эксперименты на пациентах .
- Радикализация: Акерман рассказал о своем исследовании форумов 4chan и 8chan в 2016–2017 годах . Он назвал 4chan «выгребной ямой интернета», а 8chan — местом для тех, кто оказался слишком экстремальным даже для 4chan.
- Токсичный контент: ученый признался, что чтение логов 8chan (например, разборов украденных писем Джона Подесты) вынуждало его «детоксицироваться» в течение трех недель, так как контент шел вразрез со всеми его ценностями .
Спикер подчеркнул, что ненависть в сети не нова — она уходит корнями в эпоху маккартизма, «красную угрозу» 1920-х и антисемитизм Генри Форда в 1930-х . Но именно современные социальные вычисления сделали этот процесс повсеместным, обеспечив радикалам удобные инструменты для самоорганизации .
🍪 Проект P3P: как попытка защитить приватность создала «печенье монстра» 13:21
Вторая часть «исповеди» касалась проекта P3P (Platform for Privacy Preferences) в Консорциуме Всемирной паутины (W3C), где Акерман был редактором спецификаций в конце 90-х .
Замысел был благородным:
- Создать автоматического агента, который вместо пользователя читал бы политики конфиденциальности сайтов .
- Если политика сайта совпадала с предпочтениями пользователя, агент давал «зеленый свет».
- Это должно было избавить людей от необходимости вчитываться в юридические тексты на каждом ресурсе .
Почему это провалилось? По словам Акермана, Шошана Зубофф в своей книге называет P3P «началом капитализма слежки» . Технологический мир использовал разработку P3P как аргумент против государственного регулирования: «Мы сами решим проблему технически, не мешайте прогрессу» . В итоге реального регулирования не последовало, а технологии (включая печально известные cookie-файлы) стали инструментом тотального сбора данных .
Спикер признал наличие «социотехнического разрыва»: система требовала от обычного пользователя понимания восьмимерного пространства приватности в уме, что практически невозможно . Когда Facebook в 2011 году начал внедрять персонализированную рекламу, выяснилось, что именно споры и дезинформация удерживают пользователей на сайте лучше всего, принося компании доход .
🧠 Ловушка AI и «злые проблемы» современности 24:37
Акерман выразил серьезную обеспокоенность текущим бумом ИИ. Он упомянул работу Майкла Бернштейна о создании «искусственных пользователей» на базе LLM для симуляции социальных взаимодействий .
Аргументы Акермана о рисках ИИ:
- Эмерджентные свойства: мы не понимаем, на что способны модели, пока они не развернуты массово .
- Непредсказуемость последствий: невозможно предвидеть «эффекты второго порядка» на этапе дизайна, так как технология сама меняет контекст, в который она внедряется .
- Динамичность мира: даже если мы поймем систему сегодня, завтра она изменится комбинаторным образом .
Спикер сравнил текущую ситуацию с автомобилестроением до появления Ральфа Нейдера и его книги «Опасен на любой скорости» . До этого машины делались без учета безопасности пассажиров при столкновении, и потребовались десятилетия борьбы, чтобы регулирование стало обязательным.
🛠 Что делать новому поколению исследователей? 28:03
Акерман рассмотрел несколько сценариев будущего для ученых, некоторые из которых он назвал «депрессивными» (в стиле персонажа Debbie Downer из SNL) :
- Ассимиляция: просто жить в текущей системе или выбирать коммерчески неинтересные темы .
- Техно-решения: надеяться на математические определения «справедливости» (fairness). Акерман считает это маловероятным — такие решения быстро устаревают .
- Саморегулирование индустрии: по мнению спикера, оно никогда не работает, как показал пример со спамом .
- Критический дизайн и аудит: это наиболее перспективный путь.
Конкретные предложения спикера:
- Алгоритмический аудит: Акерман поддерживает идею Кристиана Сандвига о принудительном открытии данных и алгоритмов для независимых проверок . Он привел в пример работу FAA (авиационного управления США) с компанией Boeing: госинспекторы имеют доступ к «святая святых» — секретным спецификациям планера, чтобы гарантировать безопасность полетов .
- Подготовка законопроектов заранее: ученые должны писать черновики регуляторных актов «в стол». Когда случится очередной кризис и политики потребуют действий, у науки уже должно быть готовое решение, иначе его напишут лоббисты .
- Междисциплинарность: технологам необходимо работать в тесной связке с юристами и политологами, чтобы понимать «социо-технико-политический мир» .
🗣 Дискуссия: можем ли мы вообще предсказывать вред? 41:50
В ходе обсуждения Майкл Бернштейн (ведущий) возразил Акерману, упомянув опыт Стэнфорда с «Обзором этики и общества» (Ethics and Society Review) . В этом формате исследователи обязаны спекулировать на тему потенциального вреда их технологий до получения грантов. Бернштейн предположил, что если бы создатели Facebook изначально задались вопросом «что сделают с этим худшие люди в мире?», многих проблем удалось бы избежать .
Акерман ответил скептически. Он считает, что люди (особенно инженеры) склонны к «утопическому воображаемому» и просто отказываются верить в абсолютное зло, пока не столкнутся с ним лицом к лицу .
Спикер завершил выступление предупреждением: аргумент «регулирование задушит инновации» — это классическая ловушка . По его словам, Трамп уже отменил указ об ИИ, используя именно эту риторику . Акерман призвал молодых исследователей быть осторожными с «красивыми картинками будущего» и помнить, что их работа может быть использована самым неожиданным и неприятным образом.
