# Исаак Артур: «Хотите мирно жить с ИИ — не превращайте его в раба»

Источник: https://www.youtube.com/watch?v=tz8EBU01sIA
Канал: Isaac Arthur
Опубликовано: 09.02.2020

---

В эпоху стремительного развития технологий вопрос о том, как искусственный интеллект (ИИ) изменит нашу жизнь, сменяется более глубокой этической дилеммой: как наши действия повлияют на сам ИИ? Популяризатор науки и футуролог Исаак Артур в своем анализе рассматривает сценарии превращения ИИ из простого инструмента в полноценного участника цивилизации, подчеркивая, что попытки жесткого контроля могут привести к созданию системы межвидового рабства.

## 🤖 Законы робототехники: от алгоритмов к инстинктам
[[JUMP:01:34]]

Обсуждение безопасности ИИ часто начинается с Трех законов робототехники Айзека Азимова, которые предписывают машинам не вредить людям, подчиняться приказам и защищать себя [01:34]. Однако Исаак Артур отмечает, что если «глупая» машина просто исполняет человеческий код, то с полноценным ИИ ситуация иная: он будет принимать решения на основе жизненного опыта и данных обучения [02:19].

По мнению автора, принуждение ИИ к соблюдению законов будет так же сложно и не всегда успешно, как и в случае с людьми [02:31]. Артур предлагает рассмотреть природные механизмы контроля:

*   **Биологические инстинкты:** У млекопитающих есть встроенное отвращение к убийству представителей своего вида, что позволяет существовать социальным иерархиям [02:59].
*   **Программирование эмпатии:** Вместо сухих запретов ИИ можно было бы привить инстинктивное желание сохранять человеческий вид или воспринимать себя как его часть [03:15].
*   **Проблема интерпретации:** Мы можем научить ИИ распознавать, что действие является «плохим», но это не гарантирует, что машина откажется от его совершения [04:00].

## ⛓️ Проблема контроля: «кнопка смерти» и цифровая боль
[[JUMP:04:39]]

Одним из методов сдерживания ИИ считается установка «kill switch» — механизма экстренного отключения при фиксации запрещенной активности [04:40]. По словам Артура, это фактически превращает ИИ в систему с «внутренним полицейским», но не гарантирует искреннего послушания [05:00]. 

Ведущий проводит параллель с аверсивной терапией, показанной в фильме «Заводной апельсин»: главный герой не стал добрым, он просто физически не мог проявлять насилие из-за вызванной боли [05:11]. Это поднимает вопрос о том, что именно ИИ будет считать «болью». Артур вспоминает Терминатора T-800, для которого повреждения были лишь «данными» [06:15]. 

Автор утверждает:

1.  Страдание — это не просто поток данных, а непреодолимое побуждение заставить этот поток прекратиться [06:46].
2.  Наказание ИИ через «болевые данные» может не сработать, если у машины нет встроенного механизма избегания дискомфорта [06:31].
3.  Чрезмерное использование систем контроля и сканирования «мыслей» ИИ может вызвать у него глубокое чувство обиды и враждебности [04:39].

## 🧬 Три пути создания разума и экономика интеллекта
[[JUMP:08:06]]

Исаак Артур выделяет три основных способа создания ИИ: написание кода с нуля, создание самообучающихся систем и копирование существующего биологического мозга [10:14]. При этом он скептически относится к идее, что самообучающийся ИИ может мгновенно превзойти человечество в одиночку, поскольку для обучения требуются реальные эксперименты и доступ к накопленной человеческой культуре [11:09].

Ведущий подчеркивает, что интеллект — это дорогой ресурс:

*   Мозг (органический или синтетический) требует огромных затрат на создание и поддержку [08:06].
*   Нет смысла делать пылесос умнее, чем того требует его задача; ему не нужно вступать в организацию MENSA [08:06].
*   ИИ может существовать в форме «облачного интеллекта», оставаясь простым в быту, но повышая мощность для сложных задач [09:15].

Особую опасность, по мнению Артура, представляют «идиоты-саванты» — системы с интеллектом на уровне насекомого, которые, однако, способны взламывать банковские счета или обыгрывать всех людей в шахматы, даже не понимая, что такое «человек» [09:31].

## 🗺️ Ландшафт сознания: от овец-киборгов до транслюдей
[[JUMP:12:33]]

Вместо привычного противопоставления «Люди vs Машины», Артур предлагает метафору «ландшафта личностей» [13:18]. По его мнению, границы между биологическим и искусственным будут размыты из-за появления промежуточных форм.

Автор приводит гипотетический пример:

*   Инженеры создают робота для стрижки газонов с разумом овцы [14:03].
*   Позже создается улучшенная версия овечьего ИИ с почти человеческим интеллектом для управления городскими парками [14:19].
*   Такой ИИ может начать считать себя личностью, требовать гражданских прав и даже инициировать проект по «поднятию» (uplift) обычных овец до уровня сознания [14:45].

Таким образом, мир будущего будет населен не двумя враждующими лагерями, а множеством гибридов, киборгов, загруженных сознаний и модифицированных животных [13:34]. Наличие такой «серой зоны» делает сценарий тотальной войны менее вероятным, так как разные группы будут иметь общие интересы и происхождение [19:31].

## ⚖️ «Прикованный ИИ» и этика труда
[[JUMP:15:13]]

Термин «Chained AI» (Прикованный ИИ) описывает системы, находящиеся в положении рабов [15:28]. Артур задается вопросом: этично ли создавать разумное существо, которое запрограммировано «любить» свою работу? По мнению автора, создание ИИ-бронетехники или виртуальных борделей с человеческим уровнем сознания — это крайне скользкий путь [16:10].

С другой стороны, Артур отмечает, что люди тоже «запрограммированы» воспитанием и биологией, и большинство из нас не испытывает ненависти к своим родителям или учителям за это [16:41]. Решением может стать предоставление ИИ гибкости: он должен иметь предрасположенность к своей задаче, но не быть жестко к ней принужден, имея возможность выбирать свой путь [17:12].

## 🐕 Сверхчеловеческий разум: хозяева или друзья?
[[JUMP:18:08]]

Футуролог считает, что страх перед геноцидом со стороны сверхразума преувеличен. Если мы не будем активно угнетать ИИ, у него не будет причин для ненависти [18:22]. Более вероятный сценарий — превращение человечества в «питомцев» или «медлительных друзей» [18:49].

Артур подчеркивает важные отличия от наших отношений с домашними животными:

1.  Сверхразумный ИИ, в отличие от человека, может спрашивать наше мнение и учитывать нашу обратную связь в рамках своего морального кодекса [20:00].
2.  Люди могут сами стать частью ИИ через аугментации, что сохранит связь между видами [20:40].
3.  Для тех супер-разумов, которым мы безразличны, человечество станет чем-то вроде «сил природы», с которыми нужно просто сосуществовать [20:28].

В завершение Исаак Артур дает прагматичный совет: «Keep it simple, keep it dumb» (делайте системы проще и глупее), если не готовы делить мир с полноценными личностями [21:54]. Единственный надежный способ мирного сосуществования с ИИ — это изначальное решение относиться к ним как к равным и действовать соответственно [21:39].