Грег Брокман: «Секретная разработка сверхразума была бы опаснее открытого запуска»

TED 1,9 млн 30 мин 3 мин 20.04.2023
Главное

Грег Брокман основал OpenAI семь лет назад с целью направить развитие искусственного интеллекта в позитивное русло . По его словам, сейчас мир вступает в исторический период, когда человечество определяет правила работы технологий будущего . Сооснователь OpenAI считает, что совместное обучение машин и людей поможет решить задачи, которые сегодня кажутся невозможными .

🛠 От кода к смыслу: как обучали ChatGPT 5:32

Процесс создания ChatGPT опирается на идею Алана Тьюринга из статьи 1950 года . Тьюринг предлагал не программировать ответы, а обучать машину подобно ребенку через систему поощрений и наказаний . OpenAI разделила этот процесс на два этапа.

На первом этапе разработчики создают «машину-ребенка» с помощью обучения без учителя . Нейросеть изучает весь интернет и учится предсказывать следующее слово в незнакомом тексте. Чтобы верно продолжить математический пример, модели приходится фактически научиться решать задачи .

Второй этап заключается в обучении ИИ правильному использованию навыков через обратную связь от людей . Учителя оценивают несколько вариантов ответов нейросети и выбирают лучший. Этот процесс подкрепляет не просто конкретную фразу, а логику, которую машина использовала для вывода .

🧪 Переломный момент: случайный эффект Amazon 18:06

В начале пути команда OpenAI пробовала разные подходы и не знала точно, какой сработает . Один из сотрудников тренировал модель для предсказания следующего символа в отзывах на Amazon. Разработчики ожидали, что система освоит только синтаксис: расстановку запятых и связь существительных с глаголами .

В ходе эксперимента нейросеть неожиданно превратилась в точный классификатор настроений . Она начала самостоятельно определять, является отзыв положительным или отрицательным. По словам Грега Брокмана, это был первый случай возникновения смысла (семантики) из чисто технического процесса . Этот результат убедил команду в необходимости масштабирования языковых моделей.

📉 Ошибки и уроки Khan Academy 7:06

Нейросети часто демонстрируют чрезмерную податливость или ошибаются в простых вещах. При тестировании GPT-4 специалисты Khan Academy заметили, что модель могла согласиться с учеником, утверждающим, что 1 + 1 = 3 . Для исправления этого поведения потребовалось дополнительное обучение.

Сал Хан лично потратил 20 часов на предоставление обратной связи нейросети вместе с командой OpenAI . За несколько месяцев разработчики научили модель возражать человеку в подобных ситуациях. Грег Брокман утверждает, что нажатие кнопки «палец вниз» в интерфейсе ChatGPT служит сигналом для команды о зонах слабости системы .

Другой пример ошибки возник при анализе данных из таблицы с 167 000 научных статей . ИИ построил график, на котором количество публикаций за 2023 год резко падало . Причиной стало то, что год еще не закончился, но машина не учла это автоматически. Только после замечания пользователя модель скорректировала прогноз и обновила заголовок графика .

🤝 Человек как менеджер: текущий этап развития 9:18

Современный этап развития ChatGPT предполагает использование инструментов, которые расширяют возможности интерфейса. OpenAI внедрила в систему браузер, интерпретатор кода Python и интеграцию с внешними приложениями . Это меняет роль пользователя: человек превращается из исполнителя в проверяющего менеджера .

Использование инструментов происходит следующим образом:

Грег Брокман привел историю о собаке, которой ветеринар не смог поставить верный диагноз . Хозяин предоставил GPT-4 результаты анализов, и модель предложила несколько гипотез. На основе этих данных другой врач смог спасти жизнь животному . По мнению Грега Брокмана, ChatGPT должен выступать в роли партнера для мозгового штурма, а не единственного источника истины.

⚖️ Публичный запуск против секретности 24:16

Решение выпустить ChatGPT в открытый доступ вызвало дискуссии о безопасности и ответственности . Критики считают, что OpenAI спровоцировала гонку вооружений среди технологических гигантов. Грег Брокман возражает: альтернативный план разработки мощного интеллекта в секрете кажется ему более пугающим .

Основные аргументы Грега Брокмана в пользу открытости:

Грег Брокман убежден, что технологические сдвиги происходят во всей индустрии одновременно . Если не собирать компоненты вместе постепенно, возникнет «навес»: внезапное появление слишком мощной технологии, к которой никто не готов .

💬 Цитаты

«Вы никогда не запрограммируете ответ. Вместо этого вы можете его выучить.»

Грег Брокман (цитируя Алана Тьюринга) 05:45

«Наш подход всегда заключался в том, чтобы позволить реальности ударить вас по лицу.»

Грег Брокман 23:47
👥 Спикеры
🔗 Упомянутые сайты и проекты
📖 Термины
Обучение без учителя
Метод машинного обучения, при котором нейросеть ищет закономерности в данных без заранее расставленных меток.
Эмерджентность
Появление у сложной системы новых свойств, которые не присущи её отдельным частям (например, понимание смысла из предсказания букв).
RLHF
Обучение с подкреплением на основе обратной связи от человека, используемое для настройки ответов ChatGPT.
📊 Цифры
🗓 Хронология
  1. 2015 Основание компании OpenAI как некоммерческой организации.
  2. 13 апреля 2023 Дата отсечки данных в наборе публикаций arXiv, использованном в демо.
  3. Апрель 2023 Выступление Грега Брокмана на конференции TED с живой демонстрацией возможностей ИИ.
⚖️ Другая сторона
Технологии и IT Greg Brockman OpenAI ChatGPT GPT-4 AGI