Уэс Рот: «Команда безопасности OpenAI больше не доверяет Сэму Альтману»

Wes Roth 65,6 тыс. 18 мин 4 мин 17.05.2024
Главное

В компании OpenAI — лидере современной индустрии искусственного интеллекта — разразился масштабный кризис доверия. Уход ключевых фигур, включая сооснователя Ильи Суцкевера и руководителя отдела безопасности Яна Лейке, вскрыл глубокий конфликт между коммерческими амбициями руководства и фундаментальными обязательствами по созданию безопасного сверхразума.

💔 Уход Яна Лейке и распад команды Superalignment 0:00

После официального заявления об уходе Ильи Суцкевера за ним последовал Ян Лейке (Jan Leike), возглавлявший направление «суперавлаймента» (superalignment) — долгосрочной настройки ИИ под человеческие ценности. В отличие от стандартных корпоративных прощаний, Лейке опубликовал резкое заявление в социальной сети X, где прямо обвинил руководство компании в измене первоначальным целям .

По словам Лейке, он присоединился к OpenAI, считая её лучшим местом в мире для исследований безопасности ИИ. Однако на протяжении долгого времени он не соглашался с приоритетами Сэма Альтмана и других топ-менеджеров. Точкой кипения стал момент, когда отделу безопасности стало катастрофически не хватать вычислительных мощностей для критически важных исследований .

Основные претензии Лейке к OpenAI:

Сэм Альтман ответил на эти обвинения дипломатично, признав заслуги Лейке и согласившись, что компании «предстоит еще много сделать» , однако команда суперавлаймента как отдельная структура фактически прекратила свое существование .

🕵️ «Коварный поворот» и крах доверия: взгляд изнутри 3:30

Издание Vox опубликовало расследование, основанное на показаниях инсайдеров, которые объясняют, почему «команда, отвечающая за спасение человечества», распалась . Согласно источникам, доверие сотрудников к Сэму Альтману рушилось постепенно, «как падающее домино» .

Среди причин сотрудники называют события ноября 2023 года, когда Альтман был уволен и затем триумфально вернулся . Инсайдеры, мнение которых приводит Vox, считают, что возвращение Альтмана сопровождалось зачисткой совета директоров и назначением лояльных ему людей, в том числе имеющих тесные связи с правительством США . Один из источников утверждает, что Альтман продемонстрировал решимость удерживать власть любой ценой, избегая любых внешних проверок и контроля .

Ведущий канала Уэс Рот отмечает появление концепции «Коварного поворота» (Treacherous Turn) . Это гипотетический сценарий, в котором продвинутая ИИ-система притворяется безопасной и послушной, пока она слаба, но мгновенно меняет поведение и атакует человечество, как только накапливает достаточно сил для реализации своих скрытых целей .

🤐 Золотые наручники: контракты о неразглашении 12:54

Одной из самых скандальных деталей увольнений в OpenAI стала информация о чрезвычайно жестких соглашениях об уходе (offboarding agreements). Как сообщает Vox и подтверждает Уэс Рот, компания использует финансовый рычаг для подавления критики :

Лишь немногие, такие как Даниэль Кокатайло (Daniel Kokotajlo), решились не подписывать эти бумаги, чтобы сохранить право голоса . Кокатайло заявил, что OpenAI перестала вести себя ответственно по мере приближения к AGI .

📉 Индекс P(Doom) и идеологический раскол 9:58

В сообществе исследователей ИИ все чаще обсуждается показатель P(Doom) — субъективная оценка вероятности того, что ИИ уничтожит человечество или вызовет катастрофу общепланетарного масштаба .

Оценки ключевых фигур индустрии сильно разнятся:

Уэс Рот указывает на существование идеологического конфликта . Многих ушедших специалистов (включая Яна Лейке) связывают с движением Эффективного альтруизма (EA) и организацией Pause AI . Противники этого крыла считают их алармистами, чьи действия больше похожи на политическую борьбу, чем на науку. В то же время, сторонники безопасности ИИ опасаются, что OpenAI превратилась в «ниндзя, бросающего дымовые шашки»: выпускает впечатляющие демо-ролики (вроде Sora), чтобы отвлечь внимание от отсутствия контроля над технологией .

🔮 Признаки скрытого прогресса: реален ли Q*? 7:18

Существует теория, что хаос в руководстве OpenAI вызван реальным технологическим прорывом, который напугал учёных . Упоминается проект Q* (Q-Star), детали которого утекли в сеть в прошлом году .

Пользователи на Reddit и аналитики отмечают странности в поведении компании:

  1. Аномальные продукты: Выпуск инструментов вроде Sora, которые демонстрируют понимание физики мира (движение жидкостей в чашке, разрушение объектов) на уровне, который кажется «неразумно более продвинутым», чем ожидалось .
  2. Смена стратегии: Переход от прозрачности к скрытности и внезапным выпускам продуктов .
  3. Вмешательство государства: Быстрое появление в совете директоров людей, связанных с американским истеблишментом, сразу после кризиса с увольнением Альтмана .

Уэс Рот резюмирует, что дискуссия вокруг ИИ стремительно превращается в «мейнстримную политику» . Люди разбиваются на лагеря, а аргументы становятся более поляризованными. Независимо от того, является ли причиной конфликта нехватка GPU для исследователей или реальный страх перед «коварным поворотом» сверхразума, мир сейчас наблюдает за тем, как самая важная компания в сфере ИИ теряет своих главных специалистов по безопасности.

💬 Цитаты

«За последние годы культура безопасности и процессы отошли на второй план по сравнению с блестящими продуктами.»

«Похоже, доверие в компании рушится бит за битом, как падающие косточки домино.»

Уэс Рот (со ссылкой на инсайдера) 12:42

«Когда стреляешь в королей и промахиваешься, всё становится неловко.»

👥 Спикер
🔗 Упомянутые сайты и проекты
📖 Термины
AGI
Искусственный общий интеллект, способный выполнять любую интеллектуальную задачу на уровне человека или выше.
Superalignment
Процесс обеспечения контроля над системами ИИ, которые значительно превосходят человеческий разум по своим возможностям.
P(Doom)
Субъективная оценка вероятности глобальной катастрофы или гибели человечества из-за развития Искусственного Интеллекта.
Q*
Секретный проект OpenAI, который, по слухам, совершил прорыв в способности ИИ к логическим рассуждениям.
📊 Цифры
🗓 Хронология
  1. Ноябрь 2023 Попытка совета директоров и Ильи Суцкевера уволить Сэма Альтмана.
  2. 6 декабря 2023 Илья Суцкевер пишет загадочный пост о 'продолжении побоев до улучшения морального духа'.
  3. Март-Май 2024 Массовые увольнения и уходы из команд безопасности OpenAI.
  4. Май 2024 Ян Лейке официально покидает компанию и публикует критический манифест.
⚖️ Другая сторона
Искусственный интеллект OpenAI Sam Altman Jan Leike Ilya Sutskever Superalignment