Современный искусственный интеллект — это не вершина нейтрального прогресса, а цифровая реинкарнация евгеники, маскирующая жестокую эксплуатацию и автоматизирующая государственное насилие. За глянцевым фасадом генеративных моделей скрывается тотальное изъятие субъективного опыта граждан и жесткая алгоритмическая сортировка уязвимых слоев общества. Доктор физики Дэн Маккуиллан убежден: существующие ИИ-системы идеально приспособлены для нужд латентного фашизма, а значит, единственным выходом становится радикальный неолуддизм и полный демонтаж этих технологий.
🛠️ От «ИИ во благо» к радикальному сопротивлению 0:14
Идея книги «Сопротивление ИИ»: почему технологии требуют противостояния 0:14
Дэн Маккуиллан (Dan McQuillan) начал свой академический и профессиональный путь весьма нетривиально — с защиты докторской диссертации по экспериментальной физике элементарных частиц. Однако разочарование в академической науке привело его в социальную сферу. Его профессиональный бэкграунд сформировался на стыке науки и правозащиты:
- Amnesty International — работа над продвижением цифровых прав человека;
- NHS (Национальная служба здравоохранения Великобритании) — экспертная поддержка государственных медицинских структур;
- Social Innovation Camp — международная инициатива, призванная стимулировать социальное воображение людей через технологии в Казахстане, Грузии и Сараеве.
Этот опыт работы с людьми с ментальными расстройствами и нарушениями обучаемости сформировал у него глубокое понимание того, как технологии пересекаются с реальными нуждами уязвимых групп населения.
Когда издательство Bristol University Press предложило ему написать книгу, первоначальным замыслом была концепция «ИИ для людей» (AI for the People) или «ИИ во благо». Но детальный анализ конкретных вычислительных операций глубокого обучения в сочетании с наблюдениями за их реальным институциональным применением заставил автора полностью пересмотреть позицию. Итогом стал труд «Сопротивление ИИ» (Resisting AI). Автор утверждает, что существующий технологический порядок невозможно просто «подправить» в сторону гуманизма. Машинное обучение в его нынешнем виде лишь усиливает социальный вред, демистификация которого показывает: система требует не этических компромиссов, а радикального политического отпора.
Некрополитика и алгоритмическое разделение общества 7:42
Переходя к глубинным социальным последствиям автоматизации, Дэн Маккуиллан опирается на концепцию некрополитики, сформулированную камерунским философом и теоретиком Ахиллом Мбембе. Мбембе описывал постколониальные режимы в Африке, обнажая жестокую реальность: формальный уход колонизаторов не уничтожил брутальные механизмы эксплуатации. Некрополитика — это суровое разделение людей на тех, кому система обеспечивает условия для выживания, и тех, кого она буквально обрекает на увядание или подталкивает к смерти.
В контексте ИИ этот термин описывает интеграцию алгоритмов в государственные и институциональные структуры. Автор приводит в пример пандемию COVID-19, которая обнажила эти скрытые механизмы, сжав временную шкалу. В Великобритании смертность от вируса в бедных районах вроде Восточного Лондона оказалась колоссальной. Алгоритмические системы склонны объяснять подобные диспропорции биологическими или генетическими факторами. Однако Дэн Маккуиллан подчеркивает, что это кумулятивный, трансгенерационный результат банального социального неравенства — жизни в плохом жилье, скудного питания и отсутствия жизненных шансов. ИИ становится инструментом, который легитимизирует и маскирует это системное насилие под маской математической объективности.
Цифровой неоимпериализм: колониальная природа языковых моделей 13:21
Процесс глобального развертывания больших языковых моделей (LLM) представляет собой новый виток неоимпериализма. Если в прошлые эпохи колонизация осуществлялась с помощью военной силы, а позже — через навязывание рыночных механизмов и гегемонию американской культуры, то сегодня технологии машинного обучения выступают следующим порядком глобального доминирования. Крупнейшие технологические компании агрессивно продвигают свои продукты, однако за этим маркетинговым фасадом скрывается жесткая консолидация лидерства западных игроков, основанная преимущественно на англоязычных онлайн-данных.
Возникает ультиматум: «присоединяйся или останешься позади», который схлопывает уникальные культурные пространства и стирает локальные идентичности. Дэн Маккуиллан соглашается с тем, что паника западных интеллектуалов по поводу возможной потери рабочих мест из-за ChatGPT — это лишь слабое эхо той уязвимости и прекарности, в которой большая часть населения планеты живет со времен колониальных империй. Вскользь касаясь концепций долгосрочничества и эффективного альтруизма, которые часто подпитывают идеологию суперинтеллекта (подробно эти темы будут раскрыты в главе 4), автор подчеркивает, что за стремлением Кремниевой долины к созданию AGI стоит глубоко укоренившееся, гиперколониальное видение мира. В этой картине будущего развитие технологий считается неизбежным, а само понятие «блага» узурпировано узкой группой элит.
Рационализаторский разум: связь трансгуманизма, AGI и евгеники 17:57
Философское обоснование неизбежности ИИ тесно переплетено с идеями трансгуманизма, который Дэн Маккуиллан считает радикально усиленной, но ущербной версией мышления эпохи Просвещения. Стремление к созданию сверхинтеллекта (AGI) базируется на крайне узком, оторванном от тела понимании разума как сугубо когнитивной рациональности. Главная опасность такого подхода — выстраивание жесткой бинарной шкалы, где интеллект мыслится линейно: есть «высший» разум и есть «низший». Это неизбежно ведет к ценностному перекосу и стремлению к оптимизации популяции.
Автор проводит прямую историческую параллель с евгеникой, напоминая, что она не сводилась исключительно к лагерям смерти. Суть евгеники — это оптимизация уровней интеллекта в узко заданных рамках, сопровождающаяся двойным маневром: желанием улучшить «высших» и одновременно исключить или устранить «низших», «непродуктивных» и «нетворческих». Сегодня эти евгенические нарративы открыто прорываются наружу. Например, когнитиолог Гэри Маркус цитировал Джеффри Хинтона, который доказывал врожденный интеллект языковых моделей через прямое, крайне проблематичное сравнение их ответов с речью взрослых людей с нарушениями обучаемости. Даже в контексте благих стартапов, помогающих глухим людям, Дэн Маккуиллан призывает сместить фокус с трансгуманистического «исправления дефектов» на устранение барьеров, которые само общество воздвигает перед непохожими людьми. Ключевым понятием должно стать признание ценности различий как фундаментального свойства человечества.
🌐 Телесный опыт против инфосферы: новый материализм и критика алгоритмического порядка 26:03
Новый материализм против философии информации 26:03
Дискуссия о грядущем цифровом мире часто упирается в абстрактные категории, стирающие физическую реальность. Профессор Оксфорда Лучано Флориди предложил концепцию «философии информации» и термин «реонтологизация», описывающий фундаментальное изменение человеческого бытия. По мнению Флориди, когда цифровые иммигранты полностью сменятся цифровыми аборигенами, человечество окончательно переселится в инфосферу. Это означает глобальный сдвиг нашей метафизики от материальной основы к информационной, что, однако, грозит размыванием личной автономии и агентности.
Дэн Маккуиллан соглашается с важностью термина «реонтологизация», признавая, что технологии всегда глубоко формировали наше понимание себя и окружающего мира. Однако сама информационная концепция исследователя не привлекает. «Я материалист, точнее — новый материалист», — подчеркивает он. Новый материализм — это широкое интеллектуальное течение, находящееся под сильным влиянием феминизма и исследований науки и технологий (STS). В отличие от абстрактного информационного подхода, этот взгляд утверждает множественность реальностей, но не скатывается в абсолютный релятивизм, оставаясь укорененным в телесном опыте людей и поиске путей для уменьшения их страданий.
Ранее в разговоре собеседники касались связи трансгуманизма и евгеники, но Маккуиллан признается, что сам по себе феномен интеллекта — искусственного или человеческого — его мало заботит. Главный приоритет автора заключается в том, чтобы понять, почему общество и новые технические порядки становятся все более равнодушными к судьбе других людей и состоянию планеты. Наука критически важна, поскольку помогает очертить спектр физических и медицинских ограничений, но опасно возводить ее в ранг единственной истины. Настоящая задача человечества — это непрерывное конструирование альтернативных миров, способных:
- эффективно уменьшить человеческие страдания;
- повысить общее благополучие и расширить плюралистические возможности для жизни.
Жизнь — это партисипаторный, сугубо экспериментальный процесс. Попытки занять позицию внешнего наблюдателя и вывести единую финальную истину Дэн Маккуиллан считает опасным заблуждением.
Энактивизм и машинное мышление 35:32
Попытки алгоритмизировать человеческий разум обнажают концептуальные провалы современной ИИ-индустрии. В своей статье «Data Sciences as Machinic Neoplatonism» («Наука о данных как машинный неоплатонизм») Дэн Маккуиллан проводит параллель между стремлением дата-сайентистов выявлять скрытые закономерности в огромных массивах данных и неоплатоническим поиском идеальных глубинных принципов реальности. Однако классический неоплатонический подход фундаментально опирался на созерцание и внутренний самоанализ.
Современные нейросети-трансформеры полностью лишены этой способности. Несмотря на сложные многоуровневые процессы передачи информации внутри моделей, они не осуществляют подлинного самоанализа. В рамках позитивистской науки до сих пор нет убедительной формулировки сознания, и Маккуиллан предлагает сместить фокус с разгадки природы мышления на анализ того, какие социальные перекосы эти машины интенсифицируют в реальном мире.
Перспективной альтернативой традиционному когнитивизму выступает энактивизм — относительно молодое направление в когнитивных науках, развивающееся последние 20 лет. Энактивизм декомпозирует когнитивный процесс, фокусируясь на действиях через так называемые аффордансы — возможности взаимодействия между внутренним миром субъекта и внешней средой. Этот подход использует сам окружающий мир как наилучшее репрезентативное пространство. Ведущий подкаста критикует доминирующие версии энактивизма, называя их «бихевиоризмом 2.0» за игнорирование субъективных ментальных состояний и уплощение внутреннего опыта ради соответствия строгим научным лекалам. Маккуиллан соглашается с наличием этого «эффекта уплощения» в мейнстримной науке, но призывает обратить внимание на радикальные, феноменологически ориентированные ветви энактивизма, которые возвращают в уравнение живой человеческий опыт.
Критика концепций Джордана Питерсона 33:55
Когда речь заходит о конструировании социальной реальности и смыслов, неизбежно возникает фигура канадского психолога Джордана Питерсона. Будучи нарративистом, Питерсон утверждает, что человечество использует истории для структурирования смыслов вокруг себя. Дэн Маккуиллан относится к этой позиции крайне скептически. Опираясь на мысль феминистской исследовательницы Донны Харауэй о том, что критически важно, «с помощью каких историй мы рассказываем другие истории», Маккуиллан указывает на скрытую опасность питерсоновского подхода. Мифы, которые транслирует Питерсон, несут в себе жестко определенный социальный заряд и исторический резонанс. Замыкание представлений о реальности в рамках узких мифологических структур искусственно ограничивает возможности человеческого развития.
Дэн Маккуиллан высказывается напрямую: за интеллектуальными конструкциями Питерсона скрывается «абсолютная защита правых мужских привилегий и превосходства белых». Любая философская система имеет свой социальный прагматический багаж. В противовес этому Маккуиллан выбирает традиции постструктуризма, рожденные участниками протестов 1968 года, которые пытались осмыслить повстанческую энергию и новые освободительные возможности общества.
Важным элементом анализа выступает концепция позициональности или «ситуативного знания». Дэн открыто признает собственное привилегированное положение:
- принадлежность к среднему классу и белый гендерный статус;
- наличие качественного образования, формирующего высокий социальный капитал.
Однако, в отличие от Питерсона, Маккуиллан видит в этом не повод для оправдания существующего патриархального статуса-кво, а личную ответственность за то, как именно распорядиться своими возможностями ради общего блага. Его понимание реляционности базируется не на мифах, а на феминистской теории заботы, которая выступает в качестве ключевой эвристики для изменения повседневных практик взаимодействия в обществе.
🧭 Глава 3. Технополитика, иллюзия смысла ChatGPT и ловушка европейского «доверия» 50:27
Технополитика и интерсекциональный феминизм: матрицы неравенства 50:27
Разговор переходит к анализу властных структур с личного опыта исследователя. Дэн Маккуиллан (Dan McQuillan) описывает свою лекцию в Голдсмитс-колледже, отмечая специфическую асимметрию: он, белый мужчина, читал лекцию аудитории, состоящей исключительно из чернокожих женщин. Их жизненный опыт глубоко ситуативен и определяется социальным неравенством. В качестве примера борьбы за справедливость он приводит многолетние усилия сотрудников Cosmos в Голдсмитсе по возвращению контрактных клинеров и обслуживающего персонала непосредственно в штат учреждения. Это позволило обеспечить уязвимым работникам базовые условия, больничные и справедливую оплату, что Дэн Маккуиллан называет необходимым элементом элементарной социальной заботы.
Этот пример служит мостом к обсуждению интерсекционального феминизма как политического концепта. Дэн Маккуиллан предлагает использовать его в качестве стартовой точки для социального анализа технологий. Интерсекциональность позволяет исследовать «топографию неравенства» через призму неразрывного переплетения различных деструктивных сил:
- Классовое угнетение, на котором традиционно фокусировались левые движения.
- Гендерное разделение и патриархальные структуры.
- Расовое неравенство и системная дискриминация.
Вместо того чтобы выделять одну из этих проблем как первичную, интерсекциональный подход рассматривает их как запутанный узел (entanglement), который напрямую определяет воздействие технологий на человека.
На стыке этих идей рождается «технополитика» — концепция, утверждающая неделимость способов упорядочивания общества и машинного производства. Дэн Маккуиллан подчеркивает, что новые технологические инфраструктуры буквально накладываются на старые материальные и семантические слои: к примеру, современные трансатлантические волоконно-оптические кабели повторяют маршруты старинных телеграфных линий. Проектируемые технологические системы не возникают в вакууме, они конструируются внутри существующей социальной реальности и неизбежно наследуют её укорененные иерархии.
Иллюзия смысла: почему ChatGPT — это просто красноречивая музыкальная шкатулка 57:34
Анализ технополитических механизмов продолжается разбором современных больших языковых моделей. Собеседники упоминают резонансную статью Дэн Маккуиллана «Мы пришли похоронить ChatGPT, а не хвалить его» (We come to bury ChatGPT, not to praise it), на которую обратила внимание известная исследовательница Эмили Бендер. В этой публикации ИИ характеризуется как генератор, штампующий безосновательные утверждения с абсолютной и непоколебимой уверенностью.
Дэн Маккуиллан категоричен: выходные данные генеративных моделей буквально лишены смысла. Продукт машинных вычислений — это лишь статистическое воспроизведение паттернов, извлеченных из огромных массивов поглощенного текста на основе архитектуры Transformer. Машина занимается математической оптимизацией для выдачи токенов в определенном порядке, а вот иллюзию глубокого смысла и инсайта создает уже сам человек. Мы словно смотримся в тусклое зеркало, восхищаясь собственными же мыслями, перефразированными и возвращенными нам алгоритмом.
Ситуация усугубляется тем, что компании вроде OpenAI намеренно конструируют авторитетную тональность моделей. Использование ИИ извинений, симулирующих признание собственной ошибочности, или смайликов лишь усиливает риски ложной антропоморфизации. Ранее в разговоре собеседники касались связи трансгуманизма, AGI и евгеники, однако здесь исследователь подчеркивает прагматический обман: ИИ стал «музыкальной шкатулкой», которая ложно убеждает общество в наличии у неё понимания.
Особенно остро эта проблема стоит в сфере образования. Распространенное мнение о том, что галлюцинации ChatGPT можно использовать как отличный повод для тренировки критического мышления студентов, Дэн Маккуиллан считает глубоко ошибочным. «Если вы начинаете с этого, вы уже проиграли», — отрезает он. Алгоритмическая ложь отравляет инфосферу: генераторы легко создают убедительно выглядящие списки научных источников с реальными именами авторов, чьи статьи никогда не существовали в природе. В ИТ-индустрии фиксируются случаи, когда мелкие компании страдают от перегрузки инфраструктуры из-за того, что ChatGPT массово рекомендует пользователям их несуществующие API.
Критика ИИ-политики Европейского союза и реабилитация луддизма 1:04:59
Стремление наделить алгоритмы авторитетом поддерживается на самом высоком институциональном уровне. Дэн Маккуиллан делится результатами своего анализа нормативных документов и фреймворков Европейского союза в области ИИ. По его мнению, за намеренно скучными и затянутыми формулировками скрывается стопроцентная готовность евробюрократов связать будущее союза с тотальной цифровизацией. Мотивация элит прозрачна: это экономическая выгода и геополитическое выживание в тисках между США и Китаем.
Ключевым понятием европейской политики выступает «доверенный ИИ» (trustable AI). Дэн Маккуиллан называет этот концепт чистой манипуляцией. Истинная цель Брюсселя — не трансформировать ИИ в безопасный инструмент, а просто заставить граждан безоговорочно доверять тем несовершенным технологиям, которые есть в наличии у корпораций, поскольку других систем у них нет. Такое принудительное доверие крайне опасно: ИИ, обученный на полном заговоров и предвзятости интернете, уже пытаются внедрять в диагностику и терапию ментального здоровья, что чревато катастрофами.
Вспоминая слова Кейт Кроуфорд о том, что ИИ не является ни искусственным, ни интеллектом, собеседники соглашаются, что технологию нужно воспринимать исключительно как инструмент, глубоко укорененный в социуме. Процессы создания ИИ не оторваны от реальности; они подпитываются тем же несправедливым социальным матриксом, в который затем возвращаются, усиливая петли обратной связи. Как отмечалось ранее при обсуждении автоматизации государственного административного насилия, текущий вектор внедрения ИИ лишь усугубляет этот тренд.
В финале этой части дискуссии Дэн Маккуиллан открыто признает себя «неолуддитом», предлагая переосмыслить исторический опыт этого движения. Он напоминает, что луддиты вовсе не были примитивистами или регрессивными разрушителями прогресса — они сами использовали машины в работе. Их протест был направлен против радикального ухудшения социальных отношений, навязанного новыми формами капиталистической собственности и контроля над технологиями. Поскольку современный ИИ в его нынешнем коммерческом виде представляет собой, по выражению Маккуиллана, масштабный «скам» (мошенничество), возвращение к политической логике луддитов становится актом необходимой самообороны.
🛠️ Призраки в машине: невидимый труд и жестокая логика ИИ-выживания 1:15:32
Эксплуатация невидимого труда и иллюзия автоматизации 1:16:39
Развитие индустрии искусственного интеллекта невозможно рассматривать в отрыве от материальных условий его производства. Дэн Маккуиллан убежден: в справедливом и благополучном обществе феномен современного ИИ в его нынешнем виде просто не смог бы возникнуть. Корпоративный нарратив долгое время продвигал идею о том, что технологии самообучения (self-supervised learning) станут своего рода «священным Граалем», который позволит навсегда преодолеть зависимость от низкооплачиваемого, эксплуатируемого краудсорсингового труда. Однако реальность продемонстрировала обратное. Дэн Маккуиллан формулирует жесткий «закон ИИ»: ни одна из существующих или обозримых моделей не способна функционировать без колоссальных инъекций обесцененного человеческого труда.
Громкие заявления о технологическом триумфе инженерии и вычислительных мощностей намеренно игнорируют тех, кто выполняет самую грязную работу по обеспечению жизнеспособности алгоритмов. Наиболее ярким примером стала история с компанией OpenAI, которая тайно наняла фирму Sama в Африке для разметки данных. Кенийские рабочие за копейки вручную просматривали и фильтровали наиболее токсичные проявления человеческой жизнедеятельности в сети — включая материалы с педофилией, насилием и бестиализмом, — чтобы очистить модели GPT и сделать их безопасными для конечного пользователя. Разработчики стремятся максимально засекретить эти процессы: современные ИИ-лаборатории становятся все более закрытыми, полностью скрывая источники данных и детали преференциального обучения с подкреплением (RLHF).
Более того, скрытая эксплуатация продолжается и на этапе внедрения ИИ в реальную практику. Даже в таких благородных сферах, как медицина — например, при развертывании алгоритмов раннего предсказания заболеваний почек в Национальной службе здравоохранения Великобритании (NHS), — лабораторные модели сталкиваются с хаотичностью реального мира. Материальная реальность и человеческие взаимоотношения слишком сложны, поэтому ИИ постоянно требует огромного объема компенсирующего человеческого труда и заботы для поддержания системы на плаву. Возникает абсурдный парадокс: человечество тратит колоссальные усилия на обслуживание и «лечение» технологий, призванных автоматизировать заботу, вместо того чтобы напрямую направить эти ресурсы на заботу друг о друге.
Идеология суперинтеллекта и «этика спасательной шлюпки» 1:22:44
Для оправдания столь деструктивных производственных практик ИИ-индустрия выстроила мощный идеологический щит. Сам термин «выравнивание» (alignment), по мнению Маккуиллана, превратился в своеобразный «пароль» или «знак банды» для техно-элиты, сигнализирующий о лояльности культу сильного ИИ (AGI). Сказки об ИИ на благо человечества маскируют долгосрочничество (longtermism) — опасное мировоззрение, сосредоточенное на гипотетическом спасении будущей космической расы виртуальных существ. Эти идеи, популяризированные философами вроде Ника Бострома, воспринимаются лидерами Кремниевой долины пугающе серьезно.
Дэн Маккуиллан обнаруживает зловещую связь между этой техно-философией и концепцией «этики спасательной шлюпки» (Lifeboat ethics), сформулированной американским экологом Гарреттом Хардином (известным также по работе «Трагедия общин»). Логика Хардина предельно цинична:
-
Представьте спасательную шлюпку посреди океана, которая рассчитана максимум на 30 человек.
-
Внутри уже находится 35 выживших, а вокруг плавают другие пострадавшие.
-
У находящихся в лодке нет иного выбора, кроме как жестко защищать свои ресурсы: если утопающие попытаются схватиться за борт, их нужно бить молотком.
Сегодня этот принцип возрождается на стыке эффективного альтруизма, долгосрочничества и вполне осязаемых глобальных потрясений. Техно-элита рассматривает ИИ как инструмент для удержания контроля в условиях наступающего идеального шторма материальных кризисов:
-
Катастрофические климатические изменения и истощение ресурсов.
-
Масштабные волны вынужденной миграции населения.
-
Непрекращающиеся колониальные конфликты и войны.
Алгоритмические системы становятся циничным щитом для защиты привилегированных слоев населения. Ранее в разговоре собеседники касались критики ИИ-политики Европейского союза, и Дэн напрямую увязывает эти абстрактные концепции с жестокой практикой: алгоритмы контроля и распознавания лиц массово тестируются именно в миграционной и пограничной политике ЕС для жесткой фильтрации людей. В таких условиях неконтролируемое развитие ИИ обслуживает исключительно регрессивную повестку, что делает концепт «ИИ во благо» невозможным в текущих политических реалиях.
Сопротивление абстракциям: от «философских зомби» к материальному насилию 1:27:21
Когда руководство OpenAI в лице Сэма Альтмана заявляет, что сами люди являются не более чем «стохастическими попугаями» — сложными статистическими генераторами выученных паттернов, — они продвигают глубокий технологический нигилизм. Маккуиллан категорически отвергает попытки приравнять человеческое мышление к математическим операциям. Истинное общение и язык — это не просто перекладывание токенов, а трансформирующее пространство коллективного дискурса, меняющее людей изнутри (как это происходит на рабочих или народных советах). Нейросети не генерируют смыслы, они лишь минимизируют математическую функцию потерь. Машинная имитация, будь то распознавание лиц или походки на расстоянии, подменяет подлинный эмоциональный контакт холодной классификацией.
Опасность кроется в растущем желании общества верить в разумность машин. Эта слепая вера вредоносна, поскольку делает нас соучастниками институционального и социального насилия, совершаемого алгоритмами. Чтобы легитимизировать это насилие, защитники технологий уходят в область оторванных от жизни мысленных экспериментов. Они апеллируют к дуализму Декарта, «китайской комнате» Джона Серла или концепции «философских зомби» Дэвида Чалмерса — гипотетических существ, атом за атомом копирующих человека, но лишенных субъективного опыта.
Дэн Маккуиллан, опираясь на свой бэкграунд в физике, предупреждает: буквальное операциональное воплощение философских абстракций смертельно опасно. Классическим примером служит «проблема вагонетки», родившаяся в 1960-х в контексте этических дебатов об абортах. Сегодня эту умозрительную дилемму пытаются напрямую запрограммировать в беспилотные автомобили — двухтонные куски быстро движущегося металла — в качестве готовой прикладной этики. Философ Лучано Флориди справедливо утверждал, что философия должна иметь практическую цель, однако Маккуиллан подчеркивает: мы не должны слепо полагаться на кабинетных мыслителей в управлении обществом. Реальность и её этические рамки должны определять не алгоритмы или философы со времен утопии Платона, а сами люди, которые эту реальность проживают.
👤 Алгоритмическая несправедливость и административное насилие 1:50:04
Эпистемическая несправедливость: когда алгоритм лишает голоса 1:50:04
Дэн Маккуиллан обращается к концепции, которая критически важна для понимания глубокого социального вреда ИИ, — эпистемической несправедливости. Этот термин он заимствует из феминистской философии, в частности из фундаментальных работ Миранды Фрикер. Суть данного явления заключается в системной девальвации говорящего субъекта и его собственного знания о своей жизни в угоду внешним механизированным суждениям.
Когда технологии машинного обучения внедряются в социальную сферу или здравоохранение (например, при анализе голоса для раннего выявления ментальных расстройств), живые свидетельства уязвимых групп людей вытесняются авторитетом автоматизированных систем. Алгоритмическая власть объявляется более «объективной», «научной» и «основанной на данных», превращаясь в непререкаемый источник истины.
Миранда Фрикер выделяет несколько уровней этого феномена, которые Дэн Маккуиллан проецирует на современные ИИ-системы:
- Эпистемическая несправедливость — прямое принижение значимости слов человека по сравнению с техническими показателями автоматики.
- Герменевтическая несправедливость — ситуация своеобразного «философского газлайтинга», когда внешняя версия опыта человека, сгенерированная алгоритмом, признается институтами более валидной, чем его собственные переживания.
- Свидетельственная (testimonial) несправедливость — априорное снижение доверия к источнику информации из-за предвзятости или стереотипов, связанных с его идентичностью.
В результате голос технической системы полностью заглушает голоса маргинализированных слоев населения, лишая их базового права на интерпретацию собственной реальности.
Автоматизация государственного насилия: кейс Роттердама 1:55:19
Абстрактные математические вычисления ИИ-систем имеют вполне осязаемые и разрушительные последствия, превращаясь в реальное административное насилие над бедными слоями населения. Дэн Маккуиллан иллюстрирует этот тезис масштабным расследованием, которое провела независимая журналистская организация Lighthouse Reports в Роттердаме.
Для выявления мошенничества с социальными пособиями местные власти внедрили алгоритм случайного леса (Random Forests). На основании сухих математических корреляций система маркировала людей как «подозрительных». На практике это приводило к висцеральному, грубому физическому вмешательству: к беднякам буквально вламывались в дома инспекторы, обыскивали их личные вещи и пересчитывали количество зубных щеток в ванной, чтобы доказать, что они тайно сожительствуют с партнером, получая пособие для одиночек.
Этот кейс наглядно демонстрирует, как стигматизируются жители бедных районов, таких как Тоттенхэм. Их слово изначально весит меньше в глазах государственной машины. Ситуация усугубляется действием закона Гудхарта: когда целевой показатель становится мерой эффективности, система искажается, порождая пагубные петли обратной связи. Ранее в разговоре собеседники касались темы некрополитики и системного неравенства, и роттердамский кейс наглядно показывает, как алгоритмы кристаллизуют и автоматизируют эти исторические формы угнетения, делая подозрительность социально стратифицированным опытом.
Диффузия ответственности и триумф «бездумности» 1:59:30
Проблема усложняется тем, что новые технологии размывают саму концепцию ответственности. Дэн Маккуиллан проводит прямую аналогию с феноменом оператора военного дрона. Ответственность распределяется по огромной, глубоко запутанной системе, включающей спутниковые данные, алгоритмы иерархии приказов и интерфейсы, из-за чего найти конкретного виновного или привлечь кого-то к юридической ответственности становится практически невозможно.
Параллельно с этим в индустрии глубокого обучения нарастает опасный триумфализм. В качестве примера Маккуиллан приводит комикс из официальной документации OpenAI к модели GPT-4 под названием «MOAR layers» («Больше слоев»). Первый кадр показывает традиционного дата-сайентиста, который пытается вникать в контекст, заниматься инженерией признаков и привлекать экспертов. Второй кадр провозглашает победу глубокого обучения: «Нам больше не нужно ничего понимать, мы просто добавим больше слоев и данных». В погоне за созданием универсальных моделей ИИ-гиганты полностью лишают технологии связи с реальным контекстом.
За этим хабрисом Дэн Маккуиллан видит опасную траекторию возрастающей «бездумности» (thoughtlessness). Он напрямую связывает это с концепцией Ханны Арендт, сформулированной ею во время суда над нацистским бюрократом Адольфом Эйхманом. Арендт поражало, как абсолютно серый, банальный чиновник мог стать причиной колоссального зла просто потому, что действовал внутри системы, позволяющей полностью отключить самостоятельное критическое мышление. В дальнейшем собеседники перейдут к обсуждению политического определения исторического фашизма, но корни этой бездумной исполнительности закладываются уже сегодня ИИ-корпорациями, строящими «генерализуемые модели» для решения любых социальных проблем.
✊ Демонтаж условий: антифашистский поворот в критике искусственного интеллекта 2:11:41
Концепция антифашистского подхода к ИИ: от сопротивления к народному самоуправлению 2:11:41
В финальной части своей работы Дэн Маккуиллан (Dan McQuillan) формулирует радикальный манифест, призывающий сместить фокус с простого сопротивления алгоритмическому насилию на фундаментальное переустройство социально-политических условий, порождающих текущие технологии. Ранее в разговоре собеседники подробно разбирали феномен эпистемической несправедливости алгоритмов и невидимую эксплуатацию человеческого труда, однако Дэн настаивает, что косметические правки здесь бессильны. Для него современные большие языковые модели лишены подлинной магии: Маккуиллан сравнивает их с банальной «музыкальной шкатулкой» или математическим трюком, который поглощает колоссальные объемы энергии, времени и финансов, не предлагая взамен ничего, кроме иллюзии. Вместо того чтобы пропускать весь человеческий дискурс через колоссальную функцию математической трансформации, исследователь призывает вернуть приоритет живому, горизонтальному общению между людьми для совместного решения их реальных проблем.
Антифашистский подход требует открытого признания и демонтажа системного насилия, которое сегодня пронизывает государственные институты и маскируется под техническую оптимизацию. В качестве наглядного примера административного насилия Дэн приводит британскую систему социального обеспечения Universal Credit. По его словам, эта система преднамеренно спроектирована так, чтобы держать бенефициаров в условиях жесточайшего стресса: за малейшие автоматизированные триггеры и трудновыполнимые условия на человека налагаются санкции, сокращающие его пособие до 70% от официально установленного минимума выживания. Общество приучают не замечать эти деструктивные процессы, подобно тому как крупноячеистая рыболовная сеть делает невидимой рыбу, проскользнувшую сквозь нее. Чиновники в коридорах Уайтхолла намеренно дистанцированы от последствий своих решений, чтобы им было проще управлять этими процессами из кабинетов. Противодействие этому, по мнению Маккуиллана, лежит в плоскости построения аппарата общего блага, основанного на горизонтальной кооперации и народном самоуправлении, а также в жестком пресечении («no platforming») любых проявлений техно-солюционизма.
Политическое определение исторического фашизма в эпоху алгоритмов 2:22:46
Когда ведущий предполагает, что использование термина «фашизм» в контексте цифровой индустрии может размывать или перегружать его изначальный исторический смысл, Дэн Маккуиллан выступает со строгим и прагматичным политическим уточнением. Он заявляет, что фашизм — это не абстрактная метафора для описания жесткой цензуры или корпоративного давления, а совершенно конкретная социально-политическая формация. Фашизм неизменно активизируется как радикальный ответ на глубокие структурные кризисы господствующей гегемонии, предлагая агрессивный выход из тупика. Маккуиллан подчеркивает, что эта угроза осязаема прямо сейчас: в Великобритании 2023 года ультраправые группировки открыто вмешиваются в социальные конфликты, штурмуя отели с беженцами, а в Италии пост премьер-министра занимает лидер партии, имеющей прямые преемственные связи с историческим фашизмом Муссолини.
С точки зрения политической науки, фашистский режим мобилизует массы через идеологию тотальной трансформации несостоятельного статус-кво. Ключевой механизм удержания контроля здесь заключается в создании абсолютного, но сугубо исключающего единства. Это единство базируется на жесткой поляризации «мы против них», где образ «другого» конструируется как смертельная, экзистенциальная угроза, требующая немедленного устранения. Не объявляя сам по себе искусственный интеллект фашистским, Маккуиллан доказывает, что технологические свойства (affordances) современных нейросетей несут в себе мощный скрытый потенциал для подобных режимов. Машинное обучение, построенное на непрерывной классификации, ранжировании и исключении аномалий, становится идеальным цифровым инструментом для автоматизации стигматизации. Главная опасность ИИ заключается не в локальной «предвзятости» (bias), с которой пытается бороться консервативная ИИ-этика, а в том, что в моменты социально-экономического коллапса эти алгоритмические системы готовы бесперебойно масштабировать насилие и легитимизировать фашистские методы управления.
🌍 Альтернативное будущее: от технократии к децентрализованному плюрализму 2:38:21
Дэн Маккуиллан критически оценивает веру в экспертные институты как единственный способ управления сложными технологическими системами. Вместо того чтобы полагаться на централизованные структуры, которые часто оказываются глубоко вовлеченными в текущие системные кризисы (подобные банковским коллапсам или социально-политической нестабильности), он предлагает обратиться к моделям децентрализованной кибернетики. Такой подход признает, что попытки удержать власть в узком кругу «экспертов» часто ведут к неэффективности и подавлению альтернатив, а не к решению проблем.
🛠 План Лукаса как исторический урок 2:47:00
Маккуиллан рассматривает «план Лукаса» (Lucas Plan) 1970-х годов как блестящий пример того, как рабочие могут самостоятельно определять направление производства. Столкнувшись с угрозой массовых увольнений в компании по производству вооружений, сотрудники разработали альтернативные проекты, направленные на создание социально полезных продуктов, и предложили новые способы организации труда. По мнению автора, этот опыт доказывает, что существуют жизнеспособные альтернативы текущей экономической парадигме, однако они систематически подавляются или вытесняются из поля зрения как «невозможные». Ранее в разговоре они кратко затрагивали темы социального неравенства и некрополитики, создающих почву для подобных жестких корпоративных структур.
🌐 Кибернетика Стаффорда Бира и масштабируемость 2:41:49
Для решения проблемы координации без создания иерархических диктатур автор предлагает использовать идеи кибернетики Стаффорда Бира. Эта модель не стремится сделать локальное сообщество «священным», изолируя его от мира, а напротив — создает многоуровневую структуру, где автономия сочетается с необходимой координацией на разных масштабах.
- Локальная экспертиза: Маккуиллан настаивает, что наиболее ценным знанием обладают люди, находящиеся ближе всего к предмету — будь то участники группы по благоустройству местного парка или рабочие на производстве.
- Рекурсивная координация: В такой системе задачи решаются на соответствующем уровне: локальные проблемы остаются в ведении местных сообществ, а вопросы, затрагивающие более широкие территории, переносятся на уровень координации, не наделяя при этом какой-либо орган абсолютной властью.
- Динамический баланс: Кибернетический подход Бира позволяет признать, что в реальности «никто не находится в управлении» в привычном смысле; даже высшие государственные чиновники часто оказываются заложниками мировых сил, а не всемогущими распорядителями.
В заключение Маккуиллан подчеркивает, что развитие подобных технологий не должно быть самоцелью. Ценность вычислений заключается в их способности поддерживать коммуникацию и масштабируемость альтернативных социальных экспериментов, позволяя им не просто существовать, а полноценно развиваться в условиях поликризиса.
