Как алгоритмы соцсетей превращают личные убеждения в геополитическое оружие

The Jordan Harbinger Show 1,8 тыс. 1 ч 35 мин 12 мин 01.11.2020
Главное

В интервью для The Jordan Harbinger Show эксперт по дезинформации Рене ДиРеста рассказывает о механизмах распространения ложных нарративов, фейковых новостей и скрытых операциях влияния в социальных сетях. Обсуждая эволюцию информационной войны на примере российской «Агентства интернет-исследований» и китайских пропагандистских структур, участники подкаста анализируют, как алгоритмы рекомендаций превращают личные убеждения пользователей в инструмент геополитического манипулирования. Главная идея беседы заключается в том, что дезинформация — это не временная проблема, которую можно полностью искоренить, а хроническое состояние современного цифрового общества, требующее системного изменения принципов работы онлайн-платформ.

💉 От поиска детского сада до противодействия ИГИЛ 0:33

Рене ДиРеста начала исследовать сетевой активизм случайно в конце 2013 года, когда искала дошкольное учреждение для своего первого ребенка в Сан-Франциско. Столкнувшись с необходимостью вставать в листы ожидания за год, она решила изучить статистику вакцинации в местных школах, поскольку законодательство Калифорнии на тот момент позволяло отказываться от прививок по философским или личным убеждениям. Скачав данные, исследовательница обнаружила пугающий тренд на снижение уровня иммунизации, особенно в частных школах и школах Вальдорфа.

После вспышки кори в Диснейленде в начале 2015 года ДиРеста совместно с другими матерями создала группу Vaccinate California для поддержки законопроекта об отмене немедицинских исключений. Продвигая инициативу, она освоила инструменты таргетинга рекламы на Facebook и неожиданно для себя открыла высокоорганизованный мир антивакцинаторского движения в Twitter. По ее словам, фейковые аккаунты координировались через ежедневные инструкции на YouTube, где распространялись готовые папки с мемами и списки хештегов.

В процессе анализа ДиРеста и дата-сайентист Ласло Тен зафиксировали «алгоритмическую асимметрию»: обычные родители вакцинируют детей и не пишут об этом в сетях, тогда как активисты создают мощный информационный шум. Исследователи обнаружили, что в начале 2015 года антивакцинаторские сообщества начали активно объединяться с политическими движениями, такими как «Чаепитие» (Tea Party), ультраправыми милициями и защитниками Второй поправки, используя тактику «женитьбы хештегов» для расширения своей аудитории. По мнению ДиРесты, с этого момента любая государственная политика или общественная идея превратилась в маркетинговую кампанию, где побеждает тот, кто лучше адаптирует контент под виральные механики платформ.

Общественная деятельность повлекла за собой серьезные личные последствия: ДиРеста подверглась доксингу и преследованиям. Потребовалось закрыть все личные блоги с семейными фотографиями. Юридически она получила статус «публичной фигуры для ограниченных целей» (limited purpose public figure), что, как отмечает ведущий Джордан Харбинджер, накладывает все минусы известности (сложность доказательства клеветы в суде) без каких-либо плюсов в виде рекламных контрактов.

🛡️ Опыт Белого дома и противостояние терроризму

В середине 2015 года наработки ДиРесты привлекли внимание Белого дома. Бывший главный технологический директор США Тодд Парк пригласил ее в Вашингтон для участия в аналитических группах по борьбе с пропагандой террористической организации ИГИЛ. В тот период ИГИЛ активно использовало Twitter для вербовки, а алгоритмы платформы автоматически рекомендовали радикальные аккаунты новым пользователям.

ДиРеста вспоминает, что ядро пропагандистов публиковало жестокие видео, которые быстро удалялись, но огромная сеть «фанатов» (Fanboys) перенаправляла пользователей на альтернативные площадки вроде LiveLeak. Это был первый случай масштабной «партисипативной пропаганды» (participatory propaganda), когда контент производился одной группой, а его массовое распространение шло силами обычных пользователей по принципу peer-to-peer. Американское правительство оказалось не готово к такому вызову: попытки Государственного департамента США верить в контрпропаганду через официальный аккаунт с хештегом «Think Again Turn Away» выглядели неэффективно, поскольку, по оценке ДиРесты, официальные твиты ведомства — это «антипод инфлюенс-маркетинга», не способный дерадикализировать симпатизирующих террористам.

Она добавляет, что долгосрочные исследования этой темы велись в рамках открытой программы DARPA под названием SMISC (Social Media and Strategic Communication), действовавшей с 2012 по 2015 год и изучавшей риски манипулирования информацией враждебными силами.


🏭 Фабрика троллей: анатомия петербургского «Агентства интернет-исследований» 24:46

Как утверждают участники дискуссии, к октябрю 2015 года американские спецслужбы и исследователи уже знали о работе России на американских платформах, хотя масштабы этой деятельности оставались неясными. Еще за полгода до этого журналист Адриан Чен опубликовал в The New York Times знаковое расследование «Агентство» об организации из Санкт-Петербурга.

Согласно фактологическим данным, «Агентство интернет-исследований» (АИИ), известное как «фабрика троллей», начало работу в конце 2013 — начале 2014 года. Его связывают с российским бизнесменом Евгением Пригожиным, имевшим близкие контакты с президентом Владимиром Путиным. Первоначально организация функционировала как «ферма комментариев» для внутренней повестки и ближнего зарубежья (аннексия Крыма, конфликт на востоке Украины, крушение малайзийского Боинга MH17). Однако к середине 2014 года АИИ развернуло масштабные операции против американских граждан.

По словам ДиРесты, ключевая инновация АИИ заключалась в адаптации старых советских методов «активных мероприятий» времен Холодной войны под новую архитектуру социальных сетей. Вместо легализации дезинформации через цепочки зарубежных газет, они начали создавать виральные мемы, которые пользователи распространяли самостоятельно.

🎯 Поляризация общества и игра на идентичностях

Стратегия АИИ строилась вокруг создания «цифровых племен». Они создавали масштабные сообщества на Facebook и прикидывались их участниками. По данным анализа, около 90% публикуемого контента не было прямой политической агитацией — это были посты, укрепляющие групповую гордость (чернокожие активисты, сторонники отделения Техаса, ЛГБТ-сообщества).

По мнению ДиРесты, главной целью этих пабликов было разжигание культурных войн и формирование образа врага в лице других американцев. Пропаганда строилась на темах дефицита ресурсов (например, лозунги «Помощь ветеранам вместо беженцев») и подрыве доверия к институтам (призывы к афроамериканцам бойкотировать выборы, так как «система никогда ничего для них не делала»). Контент воспринимался аудиторией доверительно, поскольку транслировался не от лица медиа-экспертов, а якобы от таких же рядовых граждан.

В 2018 году ДиРеста возглавила одну из независимых исследовательских групп, которой Сенат США поручил проанализировать массив данных, предоставленный компаниями Facebook, Twitter и Google (включая YouTube). Характеристики этого архива впечатляют:

Анализ наглядно показал колоссальные усилия, направленные на расширение расового раскола в США, где основным объектом таргетинга стало именно афроамериканское сообщество.

🧠 Мемы как оружие массового внушения

Рене ДиРеста напоминает, что в академическом понимании, восходящем к Ричарду Докинзу, мем — это культурный ген, базовая единица информации, способная к размножению. В контексте пропаганды мемы заменили длинные аналитические статьи. Картинка с эмоциональным призывом вроде «Поддержи наших ветеранов, ставь лайк и делись, если согласен» требует от пользователя минимальных когнитивных усилий. Человек кликает кнопку за две секунды, мгновенно транслируя этот сигнал своей личной сети контактов, выполняя одновременно функцию «сигнализирования о добродетели» (virtue signaling) и ретранслятора чужой пропаганды.


🇨🇳 Китайский подход и тактика тотального сомнения 38:56

В настоящее время Рене ДиРеста работает в Стэнфордской интернет-обсерватории (Stanford Internet Observatory), где изучает операции влияния со стороны Китая и России. Она отмечает существенную разницу в подходах этих двух государств.

В КНР пропаганда официально является частью публичной дипломатии, за нее отвечает профильное Пропагандистское бюро. Исторически с 2004 года в Китае существует внутренняя сеть комментаторов («Умаодан» или «50-центовая армия»), которая со временем была масштабирована на международный уровень. Китай в основном полагается на «белую пропаганду» — открытые государственные медиа-структуры. Например, телеканал CGTN (China Global Television Network) имеет более 100 миллионов подписчиков на Facebook, что в три раза превышает аудиторию CNN (около 33 миллионов). Во время пандемии COVID-19 КНР активно использовала этот ресурс, закупая официальную рекламу для продвижения историй о помощи Италии или строительстве госпиталей.

🎭 Сравнение методов: Россия против Китая

Когда Китай прибегает к «черной пропаганде» через бот-сети, качество их исполнения, по словам ДиРесты, оказывается значительно ниже российского. ДиРеста и Харбинджер выделили ключевые различия:

🌪️ Концепция FUD: создание тумана войны

По мнению ДиРесты, не вся дезинформация создается ради убеждения — часто ее целью является банальное отвлечение внимания и подрыв доверия к фактам. Это классическая стратегия создания FUD (Fear, Uncertainty, Doubt — страх, неопределенность, сомнение).

Исследовательница привела пример из 2019 года, когда во время протестов в Гонконге полиция выстрелила в глаз женщине-медику. Как только этот трагический образ заполнил мировые тренды, китайские бот-сети мгновенно наводнили хештеги сотнями взаимоисключающих версий: якобы протестующие выстрелили в нее сами, либо она была подставным агентом.

Аналогичную тактику, по словам спикеров, использует и Россия: при крушении Боинга MH17 российские медиа выдали 6–7 различных версий произошедшего, чтобы у обывателя возникло ощущение, что «правды мы никогда не узнаем». То же самое происходило со стороны Саудовской Аравии после убийства журналиста Джамаля Хашогги в консульстве в Стамбуле, когда саудовские боты транслировали множество небылиц о его исчезновении.

В преддверии выборов 2020 года тактика изменилась. Вместо создания фейковых аккаунтов с нуля, внешние игроки предпочитают находить сообщения реальных радикальных американцев и искусственно завышать их охваты. ДиРеста приводит в пример телеканал RT и его дочерний проект Redfish: если RT ориентируется на консервативную повестку («Закон и порядок»), то Redfish продвигает ультралевые идеи, усиливая внутренний раскол руками самих граждан США.


👥 Живые свидетельства и реальные столкновения на улицах 52:55

Реальность существования «фабрик троллей» подтверждается инсайдерскими утечками. ДиРеста упоминает российскую журналистку Людмилу Савчук, которая внедрилась в АИИ в качестве рядового сотрудника и впоследствии описала внутреннюю кухню. Бывшие работники описывают структуру как стандартное SMM-агентство: там есть жесткие квоты на тексты, ежедневные утренние летучки (stand-up) и чёткая специализация по соцсетям. Тролль, ведущий паблик за права темнокожих, сидел за соседним столом с троллем, администрирующим группу сторонников Конфедерации, и их задачей было стравливать эти аудитории между собой.

🎭 Операции с «полезными идиотами»

Опасность заключается в том, что кураторы из Санкт-Петербурга вступали в личную переписку с реальными американскими активистами через личные сообщения (DM). Используя термин «полезные идиоты», ДиРеста объясняет, как искренние люди становились марионетками. Сотрудники АИИ оплачивали услуги американцев через PayPal: например, они наняли двойника Хиллари Клинтон в тюремной робе для участия в митинге Трампа на грузовике, а также профинансировали тренера по самообороне в Остине для проведения курсов среди чернокожего населения. Исполнители даже не подозревали, что общаются с иностранными оперативниками.

⚔️ Инцидент в Хьюстоне: две стороны одной улицы

Самым ярким примером материализации интернет-манипуляций в физическом мире стала организация одновременных протестов в Хьюстоне (Техас) возле исламского центра. АИИ контролировало две крупные публичные страницы:

Организаторы, находившиеся в Санкт-Петербурге, создали два фейковых мероприятия на Facebook на один и тот же день и время. Страница Heart of Texas призывала выйти на протест против «исламизации Техаса», а United Muslims — защитить исламский центр от расистов. В итоге реальные американцы вышли на противоположные стороны улицы Хьюстона и начали противостояние, в которое пришлось вмешаться местной полиции для предотвращения насилия. Ведущие отмечают абсурдность ситуации: организаторы митингов сидели в России и требовали от участников присылать им фотоотчеты для наполнения своих «новостных» ресурсов.


🧠 Архитектура заговоров и технологические решения 19:57

Джордан Харбинджер отметил, что попадание в «кроличью нору» дезинформации происходит стремительно: вступление в группу противников вакцин через несколько шагов приводит алгоритм к рекомендациям QAnon, Pizzagate или теорий о вреде 5G. ДиРеста объяснила это базовыми принципами проектирования рекомендательных систем платформ. Существует два основных типа фильтрации:

  1. Контентная фильтрация (Content-based filtering): Если пользователь кликает на садоводство, система предлагает ему еще 50 страниц о садоводстве.
  2. Коллаборативная фильтрация (Collaborative filtering): Система анализирует совокупность данных миллионов людей. Если 75% любителей садоводства также интересуются кулинарией, платформа начнет предлагать кулинарные посты человеку, который никогда их не искал.

В мире конспирологии этот механизм порождает «корреляционную матрицу заговоров». Часть людей приходит в антивакцинаторские группы из соображений здорового образа жизни, но другая часть состоит там из-за веры в тайное мировое правительство, Иллюминатов и заговоры Биг Фармы. Если 7500 из 10000 участников группы против прививок также состоят в сообществах Pizzagate, алгоритм автоматически начнет продвигать Pizzagate абсолютно всем остальным участникам, радикализируя обычных граждан, изначально искавших рецепты соков. По мнению ДиРесты, такая логика рекомендаций глубоко неэтична.

🛠️ Как исправить информационную экосистему

ДиРеста призывает радикально переосмыслить принципы онлайн-кураторства. Она считает несостоятельными аргументы ИТ-гигантов о том, что изменение алгоритмов нарушает свободу слова. В качестве позитивного примера она приводит поисковую систему Google, которая еще в 2013 году внедрила внутренний регламент YMYL («Your Money or Your Life» — «Кошелек или жизнь»). Согласно этой концепции, к поисковой выдаче по запросам, касающимся здоровья и финансов, применяются строжайшие критерии авторитетности источников, чтобы оградить людей от смертельно опасных советов вроде лечения COVID-19 отбеливателем.

Решением проблемы ДиРеста видит не тотальную цензуру (удаление текстов), а «деплатформинг рекомендаций». Токсичный контент может оставаться на сайте, но он должен быть полностью исключен из поисковой выдачи и рекомендательных блоков платформ.

Для защиты будущих голосований (в частности, выборов 2020 года) формируются многосторонние консорциумы, включающие академических исследователей, ИТ-компании, гражданское общество и государственные структуры (такие как ФБР), для выявления скоординированного дезинформационного давления на ранних этапах.


🔮 Грядущие угрозы: эпоха дипфейков и генеративного ИИ 1:22:16

В финальной части интервью собеседники обсуждают новые вызовы, связанные с развитием искусственного интеллекта. Если к ретуши в Photoshop общество со временем адаптировалось, то генеративный ИИ создает принципиально иную ситуацию: у созданного им контента нет физического или цифрового оригинала, к которому можно было бы вернуться для верификации.

По словам ДиРесты, крупные компании пытаются внедрять криптографические маркеры на уровне камер (инициативы Adobe), чтобы подтвердить подлинность исходных медиафайлов. Существуют и биологические методы детектирования дипфейков: например, алгоритмы могут распознавать микроизменения цвета кожи лица на видео, вызванные пульсацией крови человека, чего пока не умеют воспроизводить нейросети.

✍️ GPT-3 и автоматизация фабрик троллей

Особое внимание исследовательница уделяет текстовой модели GPT-3 от OpenAI. Поделившись личным опытом использования нейросети для написания эссе, ДиРеста охарактеризовала ее как «слегка небрежную, иногда скатывающуюся в банальную философию первокурсника», но признала ее огромный потенциал.

Главная опасность текстовых ИИ, по мнению гостьи, заключается в «демократизации армий комментаторов». С минимальной человеческой модерацией злоумышленники могут генерировать миллионы уникальных, контекстуально точных комментариев, которые невозможно отследить по совпадению фраз (так как это не copy-paste). Это позволяет создавать у общества иллюзию, будто колоссальное количество реальных людей разделяет определенное мнение.

Схожую угрозу несут генераторы лиц вроде сайта ThisPersonDoesNotExist.com. В ноябре 2019 года Facebook уже зафиксировал первую операцию влияния, связанную с изданием The Epoch Times и сетью страниц The BL, где использовались фейковые профили с ИИ-генерацией лиц для массового распространения спама в группах.

В завершение Рене ДиРеста подчеркивает, что информационная устойчивость зависит от общего уровня доверия в обществе. В странах с высоким уровнем доверия к институтам (например, в Швеции или Эстонии) операции влияния разбиваются о скоординированный ответ государства и осознанность граждан. В США же любая попытка разоблачения фейков мгновенно превращается в межпартийную грызню. По мнению эксперта, дезинформацию невозможно «решить» раз и навсегда — к ней нужно относиться как к хроническому заболеванию экосистемы, которым необходимо постоянно управлять.

💬 Цитаты

«Вместо легализации дезинформации через цепочки зарубежных газет, они начали создавать виральные мемы, которые пользователи распространяли самостоятельно.»

Рене ДиРеста 27:35

«Дезинформацию невозможно «решить» раз и навсегда — к ней нужно относиться как к хроническому заболеванию экосистемы, которым необходимо постоянно управлять.»

👥 Спикеры
📚 Упомянутые книги
🔗 Упомянутые сайты и проекты
📖 Термины
Доксинг
Публикация личной информации человека в интернете без его согласия с целью преследования.
Партисипативная пропаганда
Метод манипулирования, при котором обычные пользователи активно участвуют в распространении контента.
Коллаборативная фильтрация
Алгоритм рекомендаций, подбирающий контент на основе сходства интересов больших групп пользователей.
FUD
Тактика психологического манипулирования, направленная на распространение страха, неопределенности и сомнений.
📊 Цифры
🗓 Хронология
  1. Декабрь 2013 Рене ДиРеста начинает изучать статистику вакцинации в Калифорнии при поиске детского сада.
  2. Начало 2015 Вспышка кори в Диснейленде активизирует законопроект об отмене немедицинских исключений для прививок.
  3. Середина 2015 Белый дом привлекает ДиРесту к анализу партисипативной пропаганды ИГИЛ.
  4. 2018 год ДиРеста возглавляет команду исследователей для анализа данных АИИ по заказу Сената США.
  5. Ноябрь 2019 Первый масштабный деплатформинг сети фейковых аккаунтов с ИИ-лицами (The BL).
⚖️ Другая сторона
Геополитика Рене ДиРеста The Jordan Harbinger Show Internet Research Agency CGTN GPT-3