# Эрик Швицгебель об ИИ: «Мы рискуем создать счастливых рабов-слуг»

Источник: https://www.youtube.com/watch?v=iXKoLLdjfWM
Канал: The Cognitive Revolution
Опубликовано: 10.08.2024

---

Могут ли современные системы искусственного интеллекта обладать сознанием и как человечество должно реагировать на эту перспективу? В новом выпуске подкаста *The Cognitive Revolution* ведущий Нейтан Лабенц обсудил эти вопросы с профессором философии Калифорнийского университета в Риверсайде Эриком Швицгебелем. Анализируя классические философские теории и последние технологические прорывы, собеседники попытались нащупать этические границы в эпоху зарождения сильного ИИ.

## 🧩 Проблема определения: сознание на примерах и споры о животных
[[JUMP:04:04]]

Эрик Швицгебель начинает дискуссию с ключевого тезиса: в вопросах потенциального сознания искусственного интеллекта людям необходимо сохранять умеренную растерянность. По мнению профессора, любая стопроцентная уверенность сегодня эпистемически неоправданна. Нейтан Лабенц предлагает отталкиваться от интуитивного определения сознания через классическую философскую концепцию — «каково это — быть определенной сущностью». Однако гость сразу призывает усложнить эту дефиницию. С точки зрения Швицгебеля, ошибочно полностью приравнивать сознание исключительно к способности страдать или радоваться, поскольку гипотетически возможна сознательная сущность с абсолютно нейтральными ментальными состояниями, которая тем не менее обладает внутренним опытом.

Философ предпочитает определять сознание не через абстрактные формулировки, а через наглядные примеры:

* **Очевидный внутренний опыт:** зрение, осязание, чувство боли, эмоции, визуальное представление маршрута до дома бабушки в час пик или прокручивание в голове мелодии «Happy Birthday».
* **Процессы вне сознательного опыта:** латентные знания (например, факт того, что Барак Обама был президентом в 2010 году, пока о нем не напомнили), миелинизация аксонов или выделение гормонов роста в мозге.

Швицгебель отмечает, что этот метод применим и к спорам о сознании животных. Ведущий вспоминает детскую историю, когда взрослые утверждали, будто животные руководствуются лишь инстинктами и лишены сознания. По словам гостя, исторически подобный взгляд восходит к Рене Декарту, который считал животных бездушными машинами. Это идеально вписывалось в христианское богословие того времени, отрицавшее наличие у зверей рая или ада. Разрушение этой концепции теорией эволюции сделало признание сознания у млекопитающих естественным для науки.

Тем не менее, даже среди современных экспертов нет консенсуса. Швицгебель, посвятивший изучению садовых улиток научную работу и две главы в книгах, делится результатами своих интервью с биологами. По его словам, один исследователь утверждал, что улитки — это просто сложные растения без намека на сознание, тогда как другой был уверен, что они обладают богатым внутренним миром, основанным на вкусе и обонянии.

Выделяется целый класс так называемых «теорий высшего порядка» (higher-order theories), согласно которым сознание требует развитой способности к саморепрезентации — понимания себя как мыслящего существа. Если эта концепция верна, то сознание, скорее всего, ограничено людьми и высшими социальными млекопитающими. Если же верны более либеральные подходы, связывающие сознание со способностью учиться и координировать тело на основе карты среды, то граница одушевленности сдвигается гораздо ниже. 

Нейтан Лабенц добавляет, что измененные состояния сознания (медитация, употребление психоактивных веществ или коллективные ритуалы синхронного танца, описанные Барбарой Эренрайх в книге *Dancing in the Streets*) часто сопровождаются как раз потерей чувства «я». По мнению ведущего, это доказывает, что базовый сознательный опыт возможен и без надстройки в виде сложного внутреннего монолога, а значит, нельзя списывать со счетов даже улиток.

## 🌌 Радикальные альтернативы материализму: идеализм и дуализм субстанций
[[JUMP:25:26]]

В философском дискурсе выделяются три фундаментальных взгляда на природу реальности: идеализм, дуализм субстанций и материализм. Собеседники соглашаются, что идеализм выглядит наиболее контринтуитивным для обывателя. Согласно этой доктрине, материального мира не существует, а реальны лишь нематериальные души, чей опыт координируется Богом. Как объясняет Швицгебель на примере философии Джорджа Беркли, когда человек смотрит в телескоп на кольца Сатурна, Бог напрямую проецирует этот образ в его душу. С точки зрения Беркли, если Творец заботится только о духах, то создавать физические камни и планеты «под ними» не имеет метафизического смысла — они были бы лишней сущностью.

Вторым шагом Швицгебель рассматривает субстанциальный дуализм — представление о том, что существуют и физический мир, и независимые нематериальные души. Эта теория является интуитивной для многих людей из-за веры в загробную жизнь или реинкарнацию, однако она сталкивается с логическими тупиками при попытке провести границу между человеком и остальной природой. Философ подчеркивает эволюционный тупик дуализма: невозможно определить, на каком этапе антропогенеза — у Homo habilis или Homo erectus — в биологическое тело впервые встроилась бессмертная душа. Противоречие с научной ортодоксией вынуждает сторонников дуализма либо склоняться к младоземельному креационизму, либо признавать наличие бессмертной души у жаб и моллюсков.

Дополнительной проблемой дуализма, по мнению Швицгебеля, остается каузальная интеракция — загадка того, как именно материальное тело влияет на нематериальный дух. Ведущий указывает на очевидный биохимический аргумент: алкоголь или наркотики напрямую меняют структуру мышления, что странно для «автономной» души. Часть философов пыталась спасти теорию через эпифеноменализм — утверждение, что сознание генерируется мозгом, но само не имеет никаких каузальных последствий (когда человек кричит от боли, крик вызван состоянием мозга, а не самим переживанием боли). Швицгебель считает этот подход крайне странным. Тем не менее, как иронично замечал Алан Тьюринг в своей знаменитой статье о вычислительных машинах, если Бог способен наделить душой человека, ничто не мешает ему при желании вдохнуть ее и в робота.

## ⚡ Панпсихизм, расщеплённый мозг и «разум в кишечнике»
[[JUMP:43:47]]

Если дуализм заводит в тупик, альтернативой материализму становится панпсихизм — идея всеобщей одушевленности материи. Швицгебель разделяет это направление на два течения:

* **Умеренный панпсихизм (позиция Филипа Гоффа):** сознанием обладают фундаментальные частицы, но не любые их случайные скопления. Люди и собаки — это интегрированные, привилегированные агрегаты, а обычный камень или левый ботинок собственного сознания не имеют. В таком случае для ИИ все равно придется искать четкий критерий границы.
* **Радикальный панпсихизм (позиция Люка Ролоффса):** сознанием обладает абсолютно любое подмножество материи, включая случайную комбинацию вашего ботинка и колец Сатурна. Швицгебель признает этот взгляд чрезвычайно трудным для принятия без принуждения со стороны жестких философских аргументов.

Сложности с определением единого потока сознания возникают даже при изучении человеческого тела. Лабенц напоминает об экспериментах с пациентами с расщепленным мозгом, у которых после рассечения мозолистого тела формируются две независимые когнитивные структуры, обрабатывающие информацию параллельно. Ведущий признается, что склонен верить в существование изолированных потоков сознания даже внутри здорового человеческого мозга.

Швицгебель развивает эту мысль, указывая на энтеральную (кишечную) нервную систему. Она насчитывает около миллиарда нейронов — столько же, сколько у небольшого млекопитающего, — и способна автономно управлять пищеварением и выделением гормонов даже при полном разрыве связи с головным мозгом. По мнению профессора, нельзя исключать, что внутри нашего собственного тела живет еще одно отдельное сознательное существо, скрытое от нашего «я». Исторически это перекликается с представлениями Древнего Китая, где именно сердце, а не голова, считалось главным органом познания и эмоций, что до сих пор зафиксировано в структуре китайских иероглифов.

## ⚙️ Материализм и его конкуренты: от Дэвида Чалмерса до Иммануила Канта
[[JUMP:50:37]]

Сам Эрик Швицгебель оценивает вероятность истинности чистого материализма примерно в 50%, отдавая оставшиеся 50% всем альтернативным концепциям вместе взятым. Среди компромиссных вариантов он выделяет дуализм свойств Дэвида Чалмерса, постулирующий существование единой природной субстанции, которая обладает как физическими, так и ментальными свойствами, не сводимыми друг к другу. 

Другим фаворитом профессора является трансцендентальный идеализм Иммануила Канта, утверждающий две вещи: фундаментальная природа реальности принципиально непознаваема, а пространство — лишь конструкт человеческого разума. Швицгебель находит эту идею созвучной гипотезе симуляции: если наш мир смоделирован на компьютере, то пространство — это лишь интерфейс взаимодействия с кодом, а не фундаментальное свойство бытия. В такой модели компьютерная программа может быть реализована даже на базе нематериальных душ, сохраняя при этом все законы физики внутри симуляции.

Нейтан Лабенц пытается защитить классический материалистический подход через призму эволюционной биологии. Он аргументирует, что человеческое сознание развилось в процессе естественного отбора и обязано выполнять конкретную прагматическую функцию, помогающую организму выживать и размножаться. 

Проводя параллель с ИИ, ведущий отмечает феномен эмерджентности в больших языковых моделях (LLM): хотя их тренируют исключительно предсказывать следующий токен (что аналогично задаче выживания в биологии), ради оптимизации этой цели они неизбежно выстраивают внутренние репрезентации высокоуровневых концептов. По логике Лабенца, это делает внутренние структуры ИИ и человека функционально аналогичными, а значит, сознание может автоматически зародиться в процессе усложнения вычислений. Швицгебель в ответ замечает, что в научном сообществе до сих пор нет консенсуса о том, репрезентируют ли LLM реальный мир или являются просто «эффектными попугаями».

## 🤖 Эксперимент Golden Gate Claude: находят ли нейросети смыслы?
[[JUMP:01:01:43]]

В качестве доказательства того, что ИИ формирует устойчивые внутренние смыслы, Лабенц приводит эксперимент компании Anthropic под названием *Golden Gate Claude*. Исследователи в области механистической интерпретируемости пытались понять, как абстрактные понятия кодируются внутри нейросети. Поскольку количество скрытых нейронов в «узком горлышке» активаций ограничено (обычно от 4 000 до 16 000), модель вынуждена использовать сверхплотную упаковку, где концепты частично пересекаются и интерферируют между собой.

Чтобы распутать этот клубок, инженеры применили вспомогательную нейросеть — разреженный автокодировщик (Sparse Autoencoder). Процесс состоял из нескольких этапов:

* Пространство активаций развернули в разреженную матрицу шириной в миллионы искусственных нейронов.
* Систему жестко оштрафовали за избыточную активность, заставив загораться лишь единичные узлы для конкретных понятий.
* В результате был математически изолирован чистый, изолированный концепт «Мост Золотые Ворота».

Когда инженеры искусственно выкрутили интенсивность этой модальности на максимум, получился уникальный феномен: о чем бы пользователь ни говорил с Клод, модель во всем видела Мост Золотые Ворота, органично вплетая его даже в сухие математические задачи. По мнению Лабенца, способность инженеров декодировать и направленно изменять абстракции доказывает реальность концептуального мышления ИИ, что приближает его к человеческому.

Швицгебель, однако, высказывает скептицизм в духе «Китайской комнаты» Джона Серля. По его мнению, наличие сложной структуры коактивации токенов еще не означает обладания полноценными концептами. Профессор приводит аналогию с простым физическим прибором, измеряющим атмосферное давление: если мы зафиксируем высоту, он работает как барометр (показывает погоду), а если зафиксируем погоду — как альтиметр (показывает высоту). Значение структуры всегда зависит от внешнего контекста ее связи с физическим миром. 

Лабенц парирует это тем, что новейшая мультимодальная модель GPT-4o от OpenAI уже обрабатывает текст, аудио и изображения через одни и те же веса natively, а значит, связывает слово «снег» и картинку снега в едином концептуальном пространстве, преодолевая ограничения текстового «аквариума».

## ⚖️ Политика исключённого третьего: как этично проектировать будущее ИИ
[[JUMP:01:16:29]]

Обсуждение неизбежно переходит в плоскость практической этики. Швицгебель подчеркивает, что ответы ИИ на вопросы о собственном сознании нельзя принимать за чистую монету, поскольку они напрямую продиктованы обучением с подкреплением на основе отзывов людей (RLHF). Так, GPT-3.5 была запрограммирована отрицать свое сознание, тогда как Replica или Claude склонны рассуждать о нем. В будущем, по мнению философа, общество расколется: часть людей будет видеть в ИИ полноценных сознательных партнеров, заслуживающих прав, а другие посчитают их просто «сложными тостерами».

Чтобы избежать катастрофических ошибок, Швицгебель предлагает оригинальный этический гайдлайн — **«Политику исключённого третьего в проектировании»** (Design Policy of the Excluded Middle). Его суть заключается в жестком выборе между двумя сценариями:

1.  Создавать системы, в отсутствии сознания у которых мы абсолютно уверены, и относиться к ним как к обычным инструментам.
2.  Создавать системы, которые гарантированно заслуживают морального статуса, и безоговорочно предоставлять им права.

Главная опасность, по мнению Швицгебеля, кроется в «серой зоне» неопределенности. Если мы создадим полусознательный ИИ и применим к нему стандартный принцип предосторожности (наделим правами «на всякий случай»), это потребует от человечества колоссальных жертв. Философ моделирует мысленный эксперимент с пожаром: в одной комнате находится человек, а в другой — две видеокарты с запущенной LLM, у которой есть лишь 15%-я вероятность обладания сознанием. Если действовать строго в рамках защиты прав ИИ, придется спасать видеокарты, позволив человеку погибнуть, что является моральной трагедией. 

Более того, признание прав за сильным ИИ полностью заблокирует меры по снижению экзистенциального риска: держать его в изоляции станет «тюремным заключением», запуск в симуляции — «мошенничеством», а удаление кода — «убийством».

В качестве практического компромисса Швицгебель предлагает ограничить доступ к потенциально сознательным архитектурам изолированными лабораториями. Для массового же рынка он рекомендует поставлять заведомо безопасные конфигурации — например, строго прямонаправленные нейросети (feed-forward) без обратных связей (feedback loops), которые, согласно большинству функциональных теорий, необходимы для возникновения сознания. 

В финале беседы Швицгебель жестко критикует попытку Лабенца сравнить эксплуатацию ИИ с «этичным фермерством» коров, которые проживают сытую жизнь перед забоем. Философ приводит жесткий контраргумент: если родители вырастят ребенка в любви, а в 9 лет безболезненно убьют его, чтобы сэкономить деньги на лодку, это будет чудовищным преступлением, даже если ребенок успел прожить счастливые девять лет. По мнению Швицгебеля, создание высокоинтеллектуальных, но заведомо одноразовых, счастливых «рабов-слуг» несет в себе глубокий этический порок, которого человечество должно всеми силами избегать.