Уэс Рот: «OpenAI против Хелен Тонер: становится ли безопасность ИИ токсичным культом?»

Wes Roth 23,6 тыс. 29 мин 5 мин 31.05.2024
Главное

Конфликт вокруг увольнения и триумфального возвращения Сэма Олтмена в OpenAI получил новый виток после публичных заявлений бывшей участницы совета директоров Хелен Тонер. В ответ на её обвинения в манипуляциях и «токсичном поведении» Олтмена, нынешнее руководство компании и ветераны Кремниевой долины представили свою версию событий, которая ставит под сомнение искренность «пророков апокалипсиса» от ИИ.

💣 Обвинения Хелен Тонер и ответный удар OpenAI 0:00

После того как Хелен Тонер, бывший член совета директоров OpenAI, публично озвучила причины увольнения Сэма Олтмена, сообщество разделилось на два лагеря . Основные тезисы Тонер сводились к тому, что совет директоров якобы узнал о запуске ChatGPT из социальной сети Twitter (ныне X), а Сэм Олтмен скрывал информацию о владении венчурным фондом OpenAI Startup Fund . По её утверждению, Олтмен годами демонстрировал «лживое и хаотичное поведение», за которое его якобы ранее увольняли из Y Combinator и его первого стартапа Loopt .

Нынешний совет директоров OpenAI категорически отверг эти претензии . В официальном заявлении компании подчеркивается следующее:

📱 Миф о «ChatGPT из Twitter» и реальность разработки 4:18

Утверждение Тонер о том, что совет не знал о запуске ChatGPT, вызывает у ведущего канала Уэса Рота серьезные сомнения . Технически ChatGPT не был инновационным прорывом в плане архитектуры: он базировался на модели GPT-3.5, которая была доступна разработчикам уже более восьми месяцев к моменту релиза .

В качестве аргументов против версии Тонер приводятся следующие факты:

  1. Существовали сторонние сервисы, такие как Jasper AI, которые долгое время использовали GPT-3.5 для генерации SEO-статей .
  2. На официальном YouTube-канале OpenAI ещё в августе 2021 года Илья Суцкевер и Грег Брокман демонстрировали проект Codex, который по сути был интерфейсом чата для написания кода .
  3. ChatGPT задумывался как скромный исследовательский проект (research preview) .

По мнению Уэса Рота, если член совета директоров не знал о том, над чем работает компания, это может свидетельствовать скорее о его некомпетентности или невнимательности, чем о скрытности гендиректора . Ведущий предполагает, что Тонер могла сознательно использовать «сенсационную» формулировку про Twitter, чтобы выставить ситуацию в более пугающем свете .

💼 Кейс Y Combinator: было ли увольнение? 6:56

Важным пунктом обвинений Тонер стало утверждение, что Пол Грэм, основатель акселератора Y Combinator (YC), якобы специально прилетел из Великобритании в Сан-Франциско, чтобы лично уволить своего протеже Сэма Олтмена . Ряд крупных изданий, включая Washington Post, подхватили эту версию, описывая «позорное изгнание» .

Однако Пол Грэм лично опроверг эту интерпретацию событий . Согласно его разъяснению:

По мнению Уэса Рота, называть это «увольнением за лживое поведение» — значит искажать факты . Он отмечает, что многие успешные лидеры вроде Стива Джобса или Илона Маска не всегда были «приятными людьми», но их жесткий стиль управления часто был необходим для достижения сверхзадач .

⛪️ «Эффективный альтруизм» как апокалиптический культ 11:40

Критика Хелен Тонер со стороны отраслевых экспертов становится всё жестче. Рик Бертон охарактеризовал её как «худшее, что может предложить академическая среда», утверждая, что она устроила «попытку переворота», совершенно не понимая функций совета директоров . Ключевой претензией к Тонер является её связь с движением «эффективного альтруизма» (EA) .

Ведущий Wes Roth и цитируемые им эксперты указывают на опасную трансформацию движения EA:

Особую тревогу у Уэса Рота вызывают высказывания радикальных представителей EA, таких как Элиезер Юдковский. Последний заявлял, что если для остановки создания «злонамеренного ИИ» потребуется ядерная война между сверхдержавами, то эта цена «могла бы быть оправданной» .

👁 Глобальная слежка и запрет на прогресс 20:24

Сторонники жесткого регулирования ИИ, обладая миллиардными бюджетами от фондов вроде Open Philanthropy, активно лоббируют свои интересы в Вашингтоне . Уэс Рот подчеркивает, что под вывеской «AI Safety» (безопасность ИИ) часто скрываются идеи, далекие от здравого смысла .

Ян Таллин, сооснователь Future of Life Institute, описывает желаемое будущее следующим образом:

  1. Введение глобального запрета на обучение моделей мощнее GPT-4 .
  2. Запрет на производство видеокарт (GPU) определенной производительности .
  3. Внедрение повсеместной слежки за тем, какой код исполняется в дата-центрах по всему миру .

Ведущий сравнивает это с попыткой запретить автомобили вообще вместо того, чтобы внедрять ремни безопасности и зоны деформации . Он считает, что реальные проблемы ИИ (предвзятость алгоритмов, влияние на маргинализированные сообщества) игнорируются в пользу фантастических сценариев о «роботах-убийцах», потому что у реалистичных исследователей просто нет таких бюджетов на лоббизм .

В завершение Уэс Рот призывает не доверять слепо ни одной из сторон, но критически оценивать мотивы тех, кто предлагает «нажать на кнопку паузы» для всего человечества под угрозой ядерного уничтожения . По его мнению, безопасность ИИ должна разрабатываться экспертами на основе логики и фактов, а не страхов и идеологии закрытых «элитарных культов» .

💬 Цитаты

«Если остановка злонамеренного ИИ потребует войны между ядерными державами, это будет ценой, которую стоит заплатить.»

Элиезер Юдковский 14:04

«Мы не принимаем претензии г-жи Тонер и г-жи Макколи относительно событий в OpenAI.»

Совет директоров OpenAI 03:01

«Эффективный альтруизм — это своего рода апокалиптический культ.»

👥 Спикеры
📚 Упомянутые книги
🔗 Упомянутые сайты и проекты
📖 Термины
Эффективный альтруизм (EA)
Философское и социальное движение, стремящееся использовать разум и доказательства для определения наиболее эффективных способов принесения пользы миру.
X-risk
Гипотетическое событие в будущем, которое может привести к полному уничтожению человечества или необратимому краху цивилизации.
LLM
Тип нейросети, обученной на огромных массивах текста для понимания и генерации человеческого языка.
📊 Цифры
🗓 Хронология
  1. 10 августа 2021 OpenAI выпускает демонстрацию Codex, работающую по принципу чата.
  2. ноябрь 2022 Официальный релиз ChatGPT как исследовательского проекта.
  3. май 2024 Хелен Тонер дает резонансное интервью о причинах увольнения Сэма Олтмена.
⚖️ Другая сторона
Искусственный интеллект OpenAI Сэм Олтмен Хелен Тонер Effective Altruism Элиезер Юдковский