# Грег Брокман: «Секретная разработка сверхразума была бы опаснее открытого запуска»

Источник: https://www.youtube.com/watch?v=C_78DM8fG6E
Канал: TED
Опубликовано: 20.04.2023

---

Грег Брокман основал OpenAI семь лет назад с целью направить развитие искусственного интеллекта в позитивное русло [0:03]. По его словам, сейчас мир вступает в исторический период, когда человечество определяет правила работы технологий будущего [0:44]. Сооснователь OpenAI считает, что совместное обучение машин и людей поможет решить задачи, которые сегодня кажутся невозможными [10:51].

## 🛠 От кода к смыслу: как обучали ChatGPT
[[JUMP:05:32]]

Процесс создания ChatGPT опирается на идею Алана Тьюринга из статьи 1950 года [5:45]. Тьюринг предлагал не программировать ответы, а обучать машину подобно ребенку через систему поощрений и наказаний [5:57]. OpenAI разделила этот процесс на два этапа.

На первом этапе разработчики создают «машину-ребенка» с помощью обучения без учителя [6:12]. Нейросеть изучает весь интернет и учится предсказывать следующее слово в незнакомом тексте. Чтобы верно продолжить математический пример, модели приходится фактически научиться решать задачи [6:25].

Второй этап заключается в обучении ИИ правильному использованию навыков через обратную связь от людей [6:39]. Учителя оценивают несколько вариантов ответов нейросети и выбирают лучший. Этот процесс подкрепляет не просто конкретную фразу, а логику, которую машина использовала для вывода [6:54].

## 🧪 Переломный момент: случайный эффект Amazon
[[JUMP:18:06]]

В начале пути команда OpenAI пробовала разные подходы и не знала точно, какой сработает [18:35]. Один из сотрудников тренировал модель для предсказания следующего символа в отзывах на Amazon. Разработчики ожидали, что система освоит только синтаксис: расстановку запятых и связь существительных с глаголами [18:48].

В ходе эксперимента нейросеть неожиданно превратилась в точный классификатор настроений [19:00]. Она начала самостоятельно определять, является отзыв положительным или отрицательным. По словам Грега Брокмана, это был первый случай возникновения смысла (семантики) из чисто технического процесса [19:14]. Этот результат убедил команду в необходимости масштабирования языковых моделей.

## 📉 Ошибки и уроки Khan Academy
[[JUMP:07:06]]

Нейросети часто демонстрируют чрезмерную податливость или ошибаются в простых вещах. При тестировании GPT-4 специалисты Khan Academy заметили, что модель могла согласиться с учеником, утверждающим, что 1 + 1 = 3 [7:19]. Для исправления этого поведения потребовалось дополнительное обучение.

Сал Хан лично потратил 20 часов на предоставление обратной связи нейросети вместе с командой OpenAI [7:32]. За несколько месяцев разработчики научили модель возражать человеку в подобных ситуациях. Грег Брокман утверждает, что нажатие кнопки «палец вниз» в интерфейсе ChatGPT служит сигналом для команды о зонах слабости системы [7:46].

Другой пример ошибки возник при анализе данных из таблицы с 167 000 научных статей [11:22]. ИИ построил график, на котором количество публикаций за 2023 год резко падало [13:08]. Причиной стало то, что год еще не закончился, но машина не учла это автоматически. Только после замечания пользователя модель скорректировала прогноз и обновила заголовок графика [14:20].

## 🤝 Человек как менеджер: текущий этап развития
[[JUMP:09:18]]

Современный этап развития ChatGPT предполагает использование инструментов, которые расширяют возможности интерфейса. OpenAI внедрила в систему браузер, интерпретатор кода Python и интеграцию с внешними приложениями [9:18]. Это меняет роль пользователя: человек превращается из исполнителя в проверяющего менеджера [4:58].

Использование инструментов происходит следующим образом:

*   ИИ сам выбирает нужные приложения (DALL-E, Instacart или Twitter) без прямой команды [3:28].
*   Машина пишет поисковые запросы и анализирует веб-страницы для проверки фактов [9:32].
*   Система оставляет ссылки на источники, чтобы человек мог верифицировать цепочку рассуждений [9:45].
*   Традиционные интерфейсы не исчезают, но дополняются языковым управлением [4:43].

Грег Брокман привел историю о собаке, которой ветеринар не смог поставить верный диагноз [14:51]. Хозяин предоставил GPT-4 результаты анализов, и модель предложила несколько гипотез. На основе этих данных другой врач смог спасти жизнь животному [15:17]. По мнению Грега Брокмана, ChatGPT должен выступать в роли партнера для мозгового штурма, а не единственного источника истины.

## ⚖️ Публичный запуск против секретности
[[JUMP:24:16]]

Решение выпустить ChatGPT в открытый доступ вызвало дискуссии о безопасности и ответственности [25:27]. Критики считают, что OpenAI спровоцировала гонку вооружений среди технологических гигантов. Грег Брокман возражает: альтернативный план разработки мощного интеллекта в секрете кажется ему более пугающим [25:54].

Основные аргументы Грега Брокмана в пользу открытости:

*   Постепенное внедрение дает людям время на адаптацию до появления сверхмощных систем [26:07].
*   Реальный опыт использования выявляет неожиданные проблемы, такие как спам про виагру вместо политической дезинформации [26:31].
*   Общество должно участвовать в установлении «правил дорожного движения» для ИИ [15:44].

Грег Брокман убежден, что технологические сдвиги происходят во всей индустрии одновременно [28:18]. Если не собирать компоненты вместе постепенно, возникнет «навес»: внезапное появление слишком мощной технологии, к которой никто не готов [28:31].