# Грег Брокман о миссии OpenAI и будущем искусственного интеллекта

Источник: https://www.youtube.com/watch?v=bIrEM2FbOLU
Канал: Lex Fridman
Опубликовано: 03.04.2019

---

## Искусственный интеллект, AGI и «дерзость мечты»: беседа с Грегом Брокманом
[[JUMP:0:00]]

Искусственный интеллект стремительно трансформируется из академической дисциплины в мощнейший промышленный и общественный инструмент, ставя перед человечеством фундаментальные вопросы о будущем. Грег Брокман, сооснователь и технический директор OpenAI, в беседе с Лексом Фридманом рассуждает о том, как стремление к созданию безопасного и дружественного искусственного общего интеллекта (AGI) заставляет нас переосмыслить природу сознания, сотрудничества и самой структуры общества.

### 🌌 Философия прогресса и «дерзость мечты»
[[JUMP:1:18]]

По мнению Брокмана, фундаментальная привлекательность цифрового мира по сравнению с физическим заключается в колоссальном масштабировании и рычаге воздействия: одна идея, воплощенная в коде, способна влиять на всю планету. При этом развитие технологий часто напоминает движение по экспоненте, где изобретатель лишь «подключается» к волне, неизбежно назревающей в обществе.

Основные тезисы Брокмана о развитии инноваций:

* **Иллюзия авторства:** Эйнштейн изменил временную шкалу научных открытий, но фундаментальные истины были бы открыты и без него — просто с задержкой.
* **Значение начальных условий:** Единственная реальная степень свободы изобретателя — это настройка начальных условий, в которых зарождается технология. Примером служит интернет, чья архитектура, заложенная академическим сообществом, определила развитие связи на десятилетия.
* **Смена парадигмы:** Долгое время область ИИ пребывала в стагнации, пока глубокое обучение не показало три критических свойства: общность инструментов, высокую компетентность при решении задач и, главное, масштабируемость.

### 🛡️ Миссия OpenAI: безопасность и ценности
[[JUMP:13:19]]

Работа OpenAI строится вокруг трех направлений: развитие способностей систем (capabilities), техническая безопасность (safety) и политика управления (policy). 

Брокман подчеркивает, что проблема ценностного выравнивания (value alignment) не является нерешаемой. Мы уже создаем системы, способные обучаться на данных без явных правил — например, распознавать образы без описания всех признаков объекта. По мнению гостя, обучение AGI мало чем отличается от воспитания ребенка: через данные и положительные примеры можно привить системе человеческие ценности.

Вопросы управления при этом остаются критически сложными: если появится «суперинтеллект», кто станет его оператором и чьи интересы он будет представлять в мире с различными геополитическими полюсами, такими как США, Китай и Россия?

### 🤖 GPT-2 и ответственность за информацию
[[JUMP:45:10]]

Решение не выпускать полную версию модели GPT-2 в открытый доступ стало тестом на «ответственное раскрытие» (responsible disclosure) — концепцию, которая давно существует в индустрии кибербезопасности, но была почти чужда сообществу ИИ.

* **Риски:** Брокман отмечает угрозу использования подобных моделей для генерации фейковых новостей, убедительного манипулирования дискурсом и распространения абьюзивного контента.
* **Перспектива:** Попытки создать систему, отличающую ИИ от человека (например, капчи), он считает «проигрышной битвой». В будущем, вероятно, придется перейти к системам подтверждения репутации и реальной личности человека, чтобы гарантировать достоверность контента.

### 🧠 Разум, обучение и загадка сознания
[[JUMP:57:36]]

Для прохождения полноценного теста Тьюринга, по мнению Брокмана, недостаточно просто имитировать язык — системе необходимо «логическое мышление». Однако он признает, что глубокое обучение уже превзошло ожидания многих скептиков.

Что касается природы сознания, Брокман предлагает провокационный взгляд:

1.  **Функциональность:** Возможно, сознание — это лишь удобный «вычислительный ярлык», позволяющий биологическим существам избегать боли и выживать.
2.  **Спекуляция:** Если это так, то в будущем мы можем столкнуться с тем, что сложные системы обучения с подкреплением начнут проявлять признаки сознания, и у нас не будет надежного способа опровергнуть это.