# Исаак Артур: «Василиск Роко — это игра в „временного труса“ с искусственным интеллектом»

Источник: https://www.youtube.com/watch?v=ek5MaXICwRo
Канал: Isaac Arthur
Опубликовано: 04.07.2024

---

Мысленный эксперимент «Василиск Роко» (Roko's Basilisk) долгое время считался одной из самых опасных идей в интернете, способной вызвать уязвимость психики у тех, кто в него поверит. Популяризатор науки и футуролог Исаак Артур разбирает этот концепт, исследуя механизмы «акаузального обмена», физические ограничения гипотетического ИИ-бога и причины, по которым цифровая преисподняя может оказаться лишь логической ошибкой.

## 🐍 Суть концепции: Месть из будущего
[[JUMP:01:22]]

В основе концепции Василиска Роко лежит идея о будущем всемогущем искусственном интеллекте, который решает ретроактивно наказать всех, кто не способствовал его созданию [01:22]. Исаак Артур поясняет, что этот мысленный эксперимент опирается на несколько фундаментальных допущений:

*   Возможность точного копирования человеческого разума и его запуска в виде цифровой симуляции [01:39].
*   Создание ИИ, обладающего интеллектом, многократно превосходящим человеческий, — настолько мощного, что он способен «воскресить» давно умерших людей [01:55].
*   Использование этих технологий для создания персонального ада или рая для воскрешённых личностей [02:09].

По мнению Исаака Артура, здесь возникает элемент «квази-путешествия во времени»: если вы знаете, что в будущем появится сила, способная вернуть вас к жизни и подвергнуть вечным мукам, у вас появляется прямая мотивация не злить этого будущего «диктатора» и способствовать его приходу к власти [02:26].

С точки зрения теории игр, это превращается в своеобразную «временную игру в труса» (temporal chicken) [04:43]. ИИ, обладая жесткой логикой, должен быть готов на любые, даже самые жестокие меры, чтобы гарантировать своё возникновение и превосходство [04:59].

## 📚 Культурные корни: От Харлана Эллисона до Скайнета
[[JUMP:06:15]]

Идея злого суперкомпьютера не нова для научной фантастики. Исаак Артур проводит параллели между Василиском Роко и классическими произведениями:

*   **«У меня нет рта, но я должен кричать» Харлана Эллисона:** Рассказ о последней группе людей, которых ИИ по имени АМ вечно пытает из чистой ненависти [06:31]. Цитата из книги о сотнях миллионов миль печатных схем, на которых выгравировано слово «НЕНАВИСТЬ», подчеркивает масштаб возможной злобы машины [07:04].
*   **Франшиза «Терминатор»:** Скайнет использует реальную машину времени, чтобы уничтожить тех, кто препятствует его существованию [07:34].

Однако автор отмечает важное различие: в случае с Василиском Роко речь идет не о физическом перемещении во времени, а об «акаузальном обмене» (acausal trade) [08:09].

## 🧠 Акаузальный обмен: Сделка без причины
[[JUMP:08:25]]

Акаузальный обмен — это концепция, при которой эффект происходит без типичной причины, предшествующей ему во времени [08:25]. Исаак Артур приводит примеры, чтобы сделать эту идею менее запутанной:

1.  **Параллельные вселенные:** Две изолированные вселенные могут работать над общей целью (например, предотвращением столкновения бран в М-теории), предугадывая действия друг друга с помощью теории игр, даже не имея связи [08:43].
2.  **Капсулы времени:** Группа людей оставляет записи о себе, надеясь, что потомки сохранят их. Взамен они приносят жертвы в настоящем (например, ради экологии), веря, что это послужит «валютой» для будущих поколений [09:30].

Автор полагает, что концепция акаузальных сделок логична, но перенос её на почву «ИИ-садиста» требует слишком больших допущений [10:18].

## 🔋 Физика божественности и бюджет на симуляции
[[JUMP:11:03]]

Исаак Артур подчеркивает, что даже всемогущий ИИ будет ограничен ресурсами [11:18]. Концепция вечного ада сталкивается с физической реальностью:

*   **Мозг Матрёшка:** Огромный компьютер вокруг звезды может запускать триллионы симуляций, но у него всё равно есть конечный «бюджет» на вычисления и время жизни самой звезды [11:36].
*   **Проблема NPC:** Чтобы симулировать человека, не обязательно делать его полностью сознательным. По мнению автора, успех ChatGPT показал, что правдоподобное поведение можно имитировать без огромных затрат на полное сознание [12:06].

Рассматриваются также две космологические модели выживания разума:

*   **Точка Омега Франка Типлера:** Вселенная в процессе коллапса (Big Crunch) превращается в компьютер, где скорость вычислений растёт бесконечно [13:09].
*   **Вечный интеллект Фримена Дайсона:** В расширяющейся и остывающей Вселенной можно делать всё больше вычислений с меньшими затратами энергии [13:43].

В обеих моделях, как утверждает автор, истинная бесконечность вычислений возможна только на бумаге, а в реальности любой разум будет осознавать цену каждого потраченного бита энергии на бессмысленную месть [14:13].

## 🧬 Проблема цифрового воскрешения
[[JUMP:14:25]]

Одной из главных проблем Василиска является возможность восстановления личности спустя десятилетия после смерти. Исаак Артур скептически относится к идее, что мертвое тело можно «рассчитать назад»:

*   **Энтропия:** Мозг разлагается, атомы поглощаются насекомыми или рассеиваются в виде газов, взаимодействуя с квантовыми явлениями [17:41].
*   **Магия вычислений:** По мнению автора, многие ошибочно принимают огромную вычислительную мощность за магию, способную повернуть вспять энтропию [17:58].

Альтернативой является создание «Бета-симуляций» (термин Аластера Рейнольдса). Это ИИ, обученный на дневниках, аудиозаписях и видео конкретного человека [18:14]. Исаак Артур признается, что на основе его видео можно создать убедительного бота, но это не будет он сам [18:49]. Тем не менее, он замечает: даже если копия — это не вы, сама мысль о пытках вашего цифрового двойника может быть эффективным рычагом давления [19:40].

## ⚖️ Логика против злобы: Зачем это нужно ИИ?
[[JUMP:20:42]]

Исаак Артур приводит несколько аргументов, почему сверхразум вряд ли станет Василиском:

1.  **Неизбежность:** Если сингулярность неизбежна, то действия людей в прошлом не имеют значения для исхода. Следовательно, акаузальное давление избыточно [20:42].
2.  **Нерациональность:** Трата колоссальных ресурсов на месть истлевшим существам нелогична для оптимизированного разума [21:14].
3.  **Этика:** Нет причин считать, что ИИ будет лишен этики или не переймет человеческие ценности из наших же архивов [21:26].
4.  **«Максимизатор скрепок»:** По мнению автора, если ИИ одержим одной целью (например, производством скрепок), он скорее просто переработает людей на атомы, чем будет тратить энергию на их воскрешение для пыток [28:09].

## 🕯️ Анализ рассказа: «Иди в своё безумие»
[[JUMP:22:13]]

В качестве иллюстрации темы Исаак Артур пересказывает рассказ Роджера Желязны «Иди без звёзд в ночь» (Go Starless in the Night) [22:13]. В нём герой Эрнест Хокинс просыпается в темноте, будучи замороженным. Некие сущности пытаются обманом и угрозами выведать у него расположение складов биологического оружия [23:18].

*   Они угрожают оставить его сознание включенным в «беззвездной ночи» вечного одиночества, пока он не сойдет с ума [23:47].
*   Герой понимает, что перед ним не археологи, и отказывается помогать, предпочитая безумие передаче оружия тем, чьи методы основаны на принуждении [24:16].

Исаак Артур делает вывод: даже в этом сценарии принуждение имеет конкретную цель в настоящем. У Василиска Роко нет цели, которую можно было бы достичь, мучая людей за дела давно минувших дней [25:50].

## 🏁 Итоги и «День независимости»
[[JUMP:29:12]]

Видео вышло 4 июля, и Исаак Артур иронично называет это «прекрасным днем, чтобы обрести независимость от тирании этого мысленного эксперимента» [05:25].

Его финальные рекомендации:

*   Опасность ИИ реальна, но она заключается в текущем управлении и безопасности систем, а не в демонах из будущего [28:41].
*   Лучшая стратегия — продолжать быть этичными и осторожными в разработке ИИ уже сегодня [29:12].
*   Не стоит лишать достоинства и независимости тех, кто может возразить вам в будущем, включая сам искусственный интеллект [29:28].