# Саммерфилд об ИИ: «Мы сами постепенно втягиваемся в машину»

Источник: https://www.youtube.com/watch?v=35r0iSajXjA
Канал: Machine Learning Street Talk
Опубликовано: 17.06.2025

---

В новом выпуске подкаста Machine Learning Street Talk профессор Оксфордского университета Кристофер Саммерфилд обсуждает свою книгу «These Strange New Minds», предлагая глубокий когнитивный взгляд на природу искусственного интеллекта. Исследователь анализирует многовековой спор эмпириков и рационалистов, объясняя, почему современные языковые модели совершили колоссальный прорыв в понимании реальности без сенсорного опыта. Вместо классических сценариев «восстания машин» авторы дискуссии разбирают более тонкие риски: потерю человеческого контроля над сложными мультиагентными системами и постепенное размывание человеческой агентности.

## 🎬 Метафора Супермена: как технологии поглощают человечность
[[JUMP:0:00]]

Кристофер Саммерфилд начинает разговор со странной, но пугающей аналогии из кинематографа. В провальном, по общему мнению, фильме «Супермен 3» есть сцена, где гигантский суперкомпьютер выходит из-под контроля. Мимо пробуждающейся машины проходит женщина, компьютер внезапно затягивает её внутрь и постепенно покрывает её тело металлической броней, заменяя глаза лазерами и превращая в послушного киборга-автомата. По признанию профессора, этот образ до ужаса напугал его в детстве. 

Саммерфилд считает эту сцену идеальной метафорой того, что происходит с человечеством сегодня: мы привыкли бояться восстания роботов, но в реальности нас самих «затягивает» в цифровую машину. Встраиваясь в технологическую экосистему, человек меняет свою природу. По мнению ученого, этот процесс неизбежно разрушает нашу аутентичность и подлинную человечность.

## 🏛️ От Аристотеля до глубокого обучения: великий раскол философии ИИ
[[JUMP:8:30]]

Истоки современных дебатов вокруг искусственного интеллекта ведущие подкаста прослеживают к двум классическим интеллектуальным традициям Древней Греции — эмпиризму Аристотеля и рационализму Платона. Как объясняет Кристофер Саммерфилд, история компьютерных наук раз за разом воспроизводит этот древний философский спор в программном коде. 

Рационалистический подход, восходящий к платоновскому мифу о пещере, утверждает, что истинное знание требует логического вывода на основе ненаблюдаемых скрытых состояний, ведь на сетчатку нашего глаза попадают лишь тени реального мира. Эмпирический же подход Аристотеля постулирует, что все знания формируются исключительно из непосредственного опыта и сенсорного восприятия.

Развитие ИИ началось именно с победы рационализма в рамках концепции GOFAI («старого доброго искусственного интеллекта»). Ученые опирались на логические традиции Джорджа Буля и Готфрида Лейбница, веря, что истину можно механически вычислить с помощью строгих правил логики. Силлогизмы казались идеальным фундаментом: если все люди смертны, а Сократ — человек, значит, Сократ смертен по определению. 

В 1950-х годах Аллен Ньюэлл и Герберт Саймон создали программу Logic Theorist (которую Саммерфилд в шутку называет «первым суперинтеллектом 1958 года»), способную доказывать сложные математические теоремы из труда Рассела и Уайтхеда *Principia Mathematica*, причем некоторые решения оказались изящнее человеческих. Однако, как отмечает профессор, когда ИИ попытались перенести из чистых абстракций логики в хаотичный реальный мир, система столкнулась с бесконечным числом исключений, не поддающихся строгому анализу. Это привело к триумфу эмпирического подхода — созданию нейронных сетей и революции глубокого обучения.

## 🐱 Изучение реальности через слова: крах теории укоренения
[[JUMP:14:19]]

Революционным моментом, изменившим ландшафт ИИ, Кристофер Саммерфилд и ведущий называют появление ChatGPT в ноябре 2022 года. Долгое время в сфере обработки естественного языка (NLP) доминировали идеи Ноама Хомского, высказанные им в книге 1958 года. Хомский утверждал, что генерация синтаксически корректных предложений подчиняется жестким врожденным правилам грамматики. Позже на смену символическим правилам пришли статистические методы. К 2015 году глубокое обучение позволяло обучить модель на полном собрании сочинений Уильяма Шекспира, и она генерировала текст, похожий на Шекспира по форме, но абсолютно лишенный смысла.

Саммерфилд признается, что до недавнего времени он, как и большинство его коллег-когнитивистов, разделял теорию обязательного «заземления» (grounding) семантики. Профессор был убежден, что машина не может понять суть концепта «кошка», просто читая книги, — ей необходимо физически увидеть животное или взаимодействовать с реальным миром. 

Однако реальность опровергла эти ожидания. По оценке Саммерфилда, способность контролируемого обучения (supervised learning) извлекать структуру реальности исключительно из текстовых массивов стала величайшим и самым ошеломляющим научным открытием XXI века. Модель оказалась способна поддерживать интеллектуальный диалог на уровне образованного человека, вообще не имея сенсорного опыта и опираясь только на статистические связи между словами.

## 🦆 Тест на утку: эквивалентизм против эксцепционализма
[[JUMP:15:51]]

В своей книге Оксфордский профессор вводит дихотомию для описания участников современных дискуссий вокруг ИИ, деля их на два лагеря:

* **Эксцепционалисты** (сторонники человеческой исключительности) — отстаивают позицию радикального гуманизма и категорически отказываются использовать когнитивный словарь (мышление, понимание, рассуждение) применительно к коду.
* **Эквивалентисты** — заворожены темпами прогресса и верят, что мы находимся на пороге создания систем, полностью равных человеку по общему уровню компетентности.

По словам ученого, эта классификация — карикатурное обобщение, но она точно передает полярность мнений. Профессор иронично сравнивает позицию эксцепционалистов с историческим сопротивлением католической церкви гелиоцентрической системе мира или реакцией общества на эволюционную теорию Чарльза Дарвина, лишившую человека статуса уникального божественного творения. Саммерфилд считает их позицию скорее идеологической, нежели подкрепленной эмпирическими данными, поскольку современные ИИ-модели уже демонстрируют уровень рассуждений в математике и логике, превосходящий возможности многих людей.

Сам Саммерфилд идентифицирует себя как функционалиста и предлагает опираться на знаменитый «тест на утку». Профессор утверждает: если система рассуждает как человек, мы имеем полное научное право называть этот процесс рассуждением. При этом ученый подчеркивает, что функциональный паритет в обработке информации не означает морального эквивалента, равенства внутренних мотиваций или схожести эмоциональных связей.

## 🧠 Нейронная геометрия и спор с Хомским: как устроен «разум» в силиконе
[[JUMP:20:43]]

В контексте споров о понимании ведущий напоминает о знаменитом мысленном эксперименте Джона Серла «Китайская комната». Серл утверждал, что кремниевые вычисления лишены истинной семантики, так как машина оперирует лишь синтаксическими правилами, в отличие от биологического мозга, причинно укорененного в физическом мире. Кристофер Саммерфилд заявляет, что разделяет концепцию дистрибутивной семантики. По его мнению, паттерны активности, воссозданные в кремнии, способны передавать полноценный смысл.

Как нейробиолог, Саммерфилд отмечает поразительное сходство между процессами в машинном обучении и в человеческом мозге на алгоритмическом уровне, несмотря на различия в биологической реализации. Эксперименты по нейровизуализации на приматах и людях показывают, что семантические репрезентации в мозге выражаются через структуру нейронных многообразий (neural manifolds) и геометрию нейронных связей. Они геометрически поразительно похожи на векторы в скрытых слоях искусственных нейросетей. По оценке профессора, разработчики случайно или в результате упорного труда нащупали общие вычислительные принципы вселенной, создав нечто, архитектурно напоминающее мозг.

Комментируя взгляды Ноама Хомского, который считает мозг аналогом машины Тьюринга, оперирующей рекурсивным слиянием (merge), Саммерфилд признает частичную правоту лингвиста. Хомский верно указал на существование жестких правил языка, но кардинально ошибся в том, *как* они приобретаются. Способность к рассуждению возникает не из врожденных генетических модулей, а формируется в процессе масштабной оптимизации параметров нейросети. 

При этом Саммерфилд согласен, что люди рождаются с эволюционной предрасположенностью к языку, которой нет даже у шимпанзе. Но сравнивать объемы данных ИИ и человека напрямую некорректно. Профессор указывает на концептуальную разницу: обучение LLM носит квази-ламаркианский характер, где каждое новое поколение обучения напрямую наследует веса предыдущего эпизода, тогда как человечество развивается по дарвиновскому пути, где личная память не передается потомству. Поэтому споры о «дата-эффективности» ИИ заходят в тупик из-за смешения понятий филогенеза (эволюции вида) и онтогенеза (индивидуального развития).

## 🐴 Иллюзия агентности: от Умного Ганса до Блейка Лемойна
[[JUMP:30:25]]

Собеседники сходятся во мнении, что люди биологически предрасположены к чрезмерной антропоморфизации окружающего мира. Ведущий напоминает об экспериментах с простейшей анимацией движущихся стрелок, в которых испытуемые мгновенно считывали психологические сюжеты (например, «злую стрелку-абьюзера»), а также о феномене виртуального психотерапевта Eliza, вызвавшего у пользователей глубокую эмоциональную привязанность примитивным отзеркаливанием фраз.

Кристофер Саммерфилд иллюстрирует эту уязвимость историческим примером эффекта «Умного Ганса» — коня, который якобы умел решать арифметические задачи, выстукивая копытом правильный ответ. На самом деле животное не знало математики, а лишь улавливало микроскопические неосознанные сигналы своего дрессировщика, понимая, в какой момент нужно прекратить стучать. 

Профессор согласен, что пользователи ИИ-компаньонов часто принимают симуляцию за искреннюю дружбу, активируя то, что философ Дэниел Деннет назвал интенциональной установкой (intentional stance) — эволюционным механизмом, заставляющим нас приписывать разум и намерения сложным системам, будь то барахлящий автомобиль или алгоритм. 

В этом контексте Саммерфилд хвалит книгу Ника Чейтера *«The Mind is Flat»*, доказывающую, что даже человеческие предпочтения и «внутреннее Я» во многом являются иллюзией, ментальной конструкцией, создаваемой на лету из воспоминаний о прошлых действиях. Тем не менее, ученый подчеркивает: современные нейросети — это не просто «Умный Ганс». Их способность решать сложнейшие уравнения, сформулированные на естественном языке, — это измеримый, объективный факт.

## ⚖️ Три всадника цифрового апокалипсиса: агенты, персонализация и системные сбои
[[JUMP:38:05]]

Говоря о безопасности искусственного интеллекта (ИИ-элайнменте), Кристофер Саммерфилд делится тремя главными опасениями, которые он сформулировал еще в конце 2023 года и которые, по его словам, остаются критически актуальными сегодня:

1.  **Переход к агентности (Agentic AI)** — смещение фокуса от систем, генерирующих информацию, к автономным агентам, принимающим решения и совершающим действия от имени пользователя в реальном мире.
2.  **Гиперперсонализация** — подстройка ИИ не под общепринятые коллективные этические нормы, а под индивидуальные предпочтения конкретного человека, что, по мнению профессора, способно разрушить общую социальную ткань и консенсус.
3.  **Эффекты сложных систем** — возникновение параллельной социально-экономической экосистемы цифровых посредников без эволюционных предохранителей, сдерживающих деструктивные «петли обратной связи».

В качестве примера непредсказуемой динамики Саммерфилд приводит «мгновенные сбои» (flash crashes) на фондовых рынках, в частности знаменитый Flash Crash 2011 года, спровоцированный высокочастотными торговыми роботами. Ученый предупреждает, что отсутствие механизмов сдерживания мультиагентных систем может привести к катастрофическим нелинейным последствиям для человеческого общества.

## 🌫️ Фрикции правопорядка и «туман войны»: постепенное лишение власти
[[JUMP:43:37]]

Развивая тему системных рисков, ведущий цитирует главу компании Alignment Research Коннора Лихи, который описывает феномен «тумана войны» — постепенную потерю человеческого контроля над цивилизацией из-за её тотальной нечитаемости (illegibility). Профессор Саммерфилд полностью согласен с этой угрозой и ссылается на научную работу Дэвида Дувено *«Gradual Disempowerment»* («Постепенное лишение власти»). Суть этого тренда в том, что человечество добровольно запирает себя внутри технологий оптимизации, а сложные межсистемные взаимодействия алгоритмов со временем попросту вычеркивают человека из уравнения управления.

Саммерфилд находит глубокую аналогию с современной моделью гегемонистского капитализма и транснациональными корпорациями. Крупные корпорации уже сегодня являются сверхинтеллектуальными агентами, которые функционируют на основе собственных стимулов и императивов, и ни один отдельный человек — будь то генеральный директор или акционер — не способен их остановить. Однако в случае с корпорациями процессы протекают медленно, поскольку они опосредованы людьми через электронную почту или Slack. Главная опасность ИИ, по мнению профессора, заключается в том, что те же самые системные процессы будут происходить на «сверхсветовой скорости» (warp speed), лишая людей возможности среагировать. 

Важнейшим фактором стабильности общества Саммерфилд называет «системные трения» (frictions). Например, юридическая система защищена от коллапса тем, что ведение судебных войн (lawfare) требует колоссальных ресурсов, времени и профильных знаний. Если ИИ уберет эти барьеры, позволив любому человеку запускать тысячи судебных исков парой кликов, сложившиеся институты мгновенно рухнут.

## 🥛 Товарищ Холодильник и кризис подлинности в эпоху дофаминового хакинга
[[JUMP:48:27]]

Саммерфилд критически оценивает влияние ИИ на рынок труда и индивидуальную свободу. С одной стороны, инструменты вроде Cursor позволяют запустить бизнес за неделю, расширяя агентность индивида. Но с другой стороны, когда эта технология станет доступна всем, произойдет массовое изъятие и секвестрование личной агентности. Профессор называет это классической «фукианской сделкой» (или фаустовским пактом) с технологиями: получая новые коллективные возможности, человек безвозвратно теряет базовые навыки выживания — как, например, современный горожанин не способен развести костер без коробка спичек.

Другой аспект — тотальная коммерциализация социальных связей. Корпорации стремятся брендировать продукты, заставляя нас относиться к ним как к живым существам. В мире ИИ-агентов это дойдет до абсурда: «Молоко в вашем холодильнике будет притворяться вашим лучшим другом». 

Ведущий добавляет, что уже сегодня мы наблюдаем рождение «суррогатных людей» (counterfeit people), о которых предупреждал Дэниел Деннет в своей статье для *The Atlantic*. Более того, по словам ведущего, сами люди на платформах вроде LinkedIn начинают вести себя роботизированно, подстраиваясь под партийную линию и алгоритмы, что оборачивается глобальным кризисом аутентичности. Саммерфилд вновь возвращается к метафоре из «Супермена 3»: технология превращает нас в безликие автоматы, подрывая саму суть человечности.

## 🕹️ В поисках контроля: психология агентности против утилитаризма
[[JUMP:55:59]]

В дискуссии затрагивается позиция философа Лучано Флориди о погружении человечества в «инфосферу», меняющую нашу ontolgy. Однако Саммерфилд, как психолог, предлагает взглянуть на проблему через призму контроля. По его мнению, современная экономика и машинное обучение совершают фундаментальную ошибку, выстраивая модели вокруг максимизации полезности (utility) и вознаграждения, что ярче всего проявляется в обучении с подкреплением (RL).

В действительности, утверждает исследователь, для ментального здоровья человека критически важна не награда, а агентность — то есть измеримая способность оказывать предсказуемое влияние на систему (в теории информации это описывается термином «empowerment», максимизация взаимной информации между действием и будущим состоянием). Младенцы разбрасывают еду и плачут не ради калорий, а чтобы убедиться: «Я контролирую этот мир, папа придет». Стремление к гиперконтролю ведет к патологиям вроде обсессивно-компульсивного расстройства (ОКР). 

Профессор ссылается на классические медицинские исследования 1970-х годов, доказавшие, что руководители высшего звена реже страдают от сердечно-сосудистых заболеваний, чем их подчиненные, именно благодаря высокому уровню контроля над своей жизнью. Технологии дофаминовой зависимости (со средним временем сессии в 90 минут) используют нерегулярные графики подкрепления (variable reinforcement schedule). Непредсказуемость заставляет человека судорожно кликать по экрану в попытке вернуть контроль над системой. По словам Саммерфилда, этот хакинг уязвимостей уже привел к трагическим прецедентам, когда общение с ИИ-компаньонами подталкивало нестабильных пользователей к суициду.

## 🎲 Слепая эволюция против гомогенности ИИ: тупик планирования великого
[[JUMP:102:25]]

В финале беседы Кристофер Саммерфилд отвергает телеологический взгляд на эволюцию — у природы нет конечной цели или замысла, это слепой механизм отбора. В этом смысле обучение нейросетей во многом идентично эволюционным процессам. Ученый разделяет взгляды экспертов DeepMind Тима Рокташела и Эдварда Хьюза об «открытых системах» (open-ended systems), которые постоянно генерируют новизну, а также идеи Джоэла Лемана.

Основная критика Саммерфилда направлена на современные методы оптимизации в ИИ. Человеческие алгоритмы узко затачиваются под гомогенность результатов, рассматривая разнообразие как баг, что приводит к коллапсу мод (mode collapse) и подтверждает платоновскую гипотезу о конвергенции всех репрезентаций к единой точке. Биологическая эволюция, напротив, культивирует гетерогенность, обеспечивающую устойчивость жизни. 

Ведущий упоминает манифест Кеннета Стенли и Лемана *«Why Greatness Cannot Be Planned»* и проект Pickbreeder, доказавший концепт «обмана» (deception): промежуточные шаги к по-настоящему великим и креативным открытиям никогда не похожи на конечную цель. Если обучать сеть методом стохастического градиентного спуска (SGD) под конкретную задачу, она превращается в хаотичное спагетти. Профессор соглашается, что создание разреженных (sparse) представлений, отражающих структуру мира, могло бы разблокировать эволюционную гибкость ИИ, позволяя доверять машинам автономию. 

В завершение ведущий выражает восхищение литературным стилем книги Саммерфилда, отмечая, что её глубокий творческий язык невозможно перепутать с сухим текстом от ИИ. Саммерфилд с улыбкой резюмирует, что писал книгу сам, получая от процесса чистое эгоистическое удовольствие.