# Яан Таллин о паузе в ИИ-гонках: «Мы живем с лотерейным билетом на выживание»

Источник: https://www.youtube.com/watch?v=R78mbtNeCvM
Канал: The Cognitive Revolution
Опубликовано: 13.04.2023

---

Технолог Яан Таллин, сооснователь Skype и один из самых влиятельных инвесторов в области ИИ-безопасности, в беседе с Нейтаном Лабенцем анализирует текущий этап развития нейросетей как критический момент для человечества. В центре дискуссии — аргументы в пользу шестимесячной паузы в обучении сверхмощных моделей и поиск путей к безопасному сосуществованию с «цифровым разумом», который может выйти из-под контроля.

## 👨‍💻 От Skype к спасению мира: путь инвестора
[[JUMP:0:00]]

Яан Таллин родился в 1972 году в Советской Эстонии и прошел путь от разработчика видеоигр до создателя Kazaa — файлообменной платформы, на которую в пике приходилось до половины всего интернет-трафика. После продажи Skype компании eBay в 2005 году за $2,5 млрд Таллин сфокусировался на вопросах экзистенциальных рисков.

Поворотным моментом для него стало знакомство с текстами Элизера Юдковского об угрозах ИИ в 2009 году. По словам Таллина, он не смог найти логических изъянов в аргументах Юдковского, что побудило его посвятить свои ресурсы и репутацию минимизации рисков от ИИ. С тех пор он инвестировал в более чем 180 стартапов, включая таких гигантов, как DeepMind, Anthropic и Conjecture.

Стратегия Таллина как инвестора в фундаментальные исследования ИИ отличается от классического венчурного подхода:

* **Влияние важнее прибыли:** Он инвестирует в лаборатории не ради заработка, а чтобы «иметь место за столом» и голос внутри организаций, которые могут пойти на слишком большой риск.
* **Прямая коммуникация:** Таллин поддерживает личные отношения с фаундерами, такими как Демис Хассабис из DeepMind, чтобы иметь возможность донести свои опасения по поводу безопасности напрямую.
* **Филантропическая база:** Его деятельность подкреплена созданием некоммерческих структур, таких как Cambridge Center for the Study of Existential Risk и Future of Life Institute.

## 🔮 Парадигма «призыва и укрощения»
[[JUMP:9:09]]

Таллин описывает эволюцию разработки ИИ как тревожный переход от прозрачных систем к «черным ящикам». Если в 80-е годы господствовали экспертные системы с понятными правилами, то современное глубокое обучение строится на неконтролируемом процессе.

Гость называет текущий подход «парадигмой призыва и укрощения» (summon and tame). По мнению Таллина, разработчики используют колоссальные вычислительные мощности, чтобы «призвать» неконтролируемый разум, а затем пытаются изучить его свойства и ограничить их.

Основные опасения гостя связаны с потерей контроля над будущим:

1.  **Компетентность без сознания:** Таллин считает иллюзией надежду на то, что ИИ станет сознательным и «таким же, как мы». Скорее, это будет сверхоперативная машина, которая просто заберет контроль над планетой из рук людей.
2.  **Антропоцентричное заблуждение:** Мы считаемся хозяевами планеты только потому, что мы — самый умный вид. Если мы создадим нечто умнее себя, этот статус будет утрачен.
3.  **Непрозрачность целей:** Поскольку ИИ выбирается по поведению, а не по внутренним мотивам, мы не знаем, какие цели он преследует на самом деле.

## 🛑 Шестимесячная пауза: зачем и как?
[[JUMP:1:17:42]]

Идея открытого письма с призывом приостановить обучение моделей мощнее GPT-4 возникла в Future of Life Institute как реакция на общественную тревогу. По словам Таллина, целью было создать «общее знание» о том, что многие эксперты, включая сотрудников самих лабораторий, серьезно обеспокоены гонкой вооружений в ИИ.

Выбор срока в шесть месяцев был обусловлен несколькими факторами:

* **Проверка на координацию:** По мнению Таллина, пауза важна сама по себе как доказательство того, что человечество способно договориться и остановить опасный эксперимент.
* **Разработка критериев безопасности:** Это время необходимо для создания проверяемых тестов (evals), которые могли бы гарантировать, что следующая версия модели не будет обладать опасными автономными навыками.
* **Адаптация общества:** Как отмечает гость, нам нужно время, чтобы научиться жить в мире, где ИИ уже проходит тест Тьюринга и влияет на информационную среду.

## 🏰 Культуры лабораторий и давление гонки
[[JUMP:1:08:12]]

Таллин отмечает существенную разницу в подходах ведущих игроков. Anthropic, по его оценке, обладает наиболее выраженной культурой безопасности, однако даже они втянуты в гонку. По мнению Таллина, просочившиеся данные о планах Anthropic привлечь $5 млрд для создания моделей следующего поколения свидетельствуют о том, что рыночное давление заставляет даже осторожных игроков идти на риск.

Гость выделяет три «титана», за которыми нужно следить:

1.  **OpenAI:** По словам Таллина, Сэм Альтман публично признает риски, но продолжает форсировать развитие.
2.  **DeepMind/Google:** Находятся в сложной ситуации из-за корпоративных ограничений Google, но проявляют осторожность в публикациях.
3.  **Anthropic:** Пытаются реализовать «эмпирическое выравнивание», работая с передовыми моделями, чтобы понять их риски.

Таллин считает, что аргумент «если не мы, то Китай» часто переоценивается. По его мнению, китайское руководство вряд ли заинтересовано в создании «неконтролируемого разума», способного дестабилизировать их внутренний порядок.

## 🎲 Лотерейный билет человечества
[[JUMP:1:38:28]]

Несмотря на мрачные прогнозы — Таллин оценивает вероятность катастрофы в диапазоне от 1% до 50% на каждое десятикратное увеличение вычислительной мощности — он сохраняет оптимизм относительно потенциала выживания.

> «Мы живем с лотерейным билетом в кармане. Если мы переживем этот „рак“ (неконтролируемое развитие ИИ), будущее может стать невообразимо лучше, чем всё, что мы знали раньше. Наша задача сейчас — просто улучшить шансы в этой лотерее», — резюмирует Яан Таллин.

В качестве конкретных мер по снижению рисков гость предлагает:

* **Контроль вычислений:** Предобучение моделей требует огромных затрат энергии и мощностей, что делает процесс видимым для правительств и позволяет ввести регулирование на уровне «железа».
* **Механистическая интерпретируемость:** Попытки «вскрыть» нейросети и понять логику их внутренних процессов, чтобы получить гарантии их поведения.
* **Государственное вмешательство:** Таллин согласен с Сундаром Пичаи в том, что саморегулирования лабораторий недостаточно и требуется вмешательство на уровне законов.