Гонка к супернтеллекту: почему 70% вероятности ведут к концу истории

The Diary Of A CEO 1,2 млн 2 ч 18 мин 13.07.2026
Главное

Дэниел Кокотайло отказался от 2 миллионов долларов, чтобы публично предупредить: лидеры ИИ-индустрии осознанно строят «цифровой мозг», который к 2028 году обещает оставить человечество без работы и контроля. Перед нами не просто технологическая гонка, а финальный акт человеческой истории, где ставка — либо полное вымирание, либо шанс на спасение цивилизации через радикальное переустройство общества.

🛑 Цена правды: $2 миллиона за право говорить об OpenAI 0:39

Дэниел Кокотайло (Daniel Kokotajlo), бывший исследователь OpenAI, оказался в центре одного из самых громких скандалов в индустрии искусственного интеллекта, когда в 2024 году принял решение покинуть компанию по соображениям совести . Основной причиной его ухода стало глубокое разочарование в том, как руководство OpenAI распоряжается своим влиянием . Кокотайло пришёл в компанию в 2022 году, когда она ещё сохраняла черты некоммерческой организации, но к моменту его увольнения она окончательно трансформировалась в традиционную корпорацию, движимую жаждой власти и контроля .

Процесс увольнения сопровождался беспрецедентным давлением: Дэниелу предложили подписать стандартное для компании соглашение о неразглашении и запрете на критику (anti-disparagement clause) . Отказ от подписи означал полную потерю накопленного капитала в виде акций компании.

Несмотря на финансовый риск, Дэниел и его жена после долгих раздумий решили отказаться от денег, чтобы сохранить право открыто предупреждать общество о рисках бесконтрольного развития ИИ . Он подчеркнул, что для некоммерческой организации, заявляющей о работе «на благо всего человечества», такая секретность выглядит лицемерно . Ситуация разрешилась лишь после того, как история попала в СМИ и вызвала протесты среди действующих сотрудников OpenAI . Под давлением общественности компания была вынуждена аннулировать это требование и вернуть Кокотайло его долю акций . Сэм Альтман позже заявил, что якобы не знал о существовании подобных жестких условий в контрактах, но Кокотайло относится к этим словам со скепсисом, полагая, что руководство было полностью осведомлено о методах удержания сотрудников в узде .

🏎️ Гонка за мировое господство: страх перед «цифровым диктатором» 0:51

Внутри индустрии ИИ доминирует не столько жажда прибыли, сколько экзистенциальный страх перед конкурентами. Стивен Бартлетт (Steven Bartlett) в беседе с Дэниелом отмечает, что лидеры крупнейших лабораторий — OpenAI, Anthropic и DeepMind — оправдывают опасную скорость разработок «мифическим» нарративом о необходимости первенства . Согласно этому убеждению, тот, кто первым создаст сверхинтеллект, получит настолько колоссальное преимущество, что сможет диктовать свою волю всему миру .

Дэниел Кокотайло раскрывает внутреннюю кухню этих опасений:

  1. Недоверие лидеров: Основатели OpenAI в частных переписках ещё в 2017 году признавались, что боятся превращения Демиса Хассабиса (главы Google DeepMind) в «мирового диктатора» в случае его победы в гонке за AGI .
  2. Паранойя как двигатель: Сэм Альтман, Дарио Амодеи и Илон Маск соревнуются не за рыночную долю, а за то, чтобы не оказаться в подчинении у того, кто первым достигнет технологического прорыва .
  3. Иллюзия безопасности: Компании убеждают себя, что именно они являются «хорошими парнями», которым можно доверить власть, в то время как их конкуренты якобы будут использовать ИИ безответственно .

Особую тревогу у Кокотайло вызывает метафора «страны гениев в дата-центре», предложенная главой Anthropic Дарио Амодеи . Дэниел считает это определение вводом в заблуждение: правильнее называть это «армией гениев», поскольку эти системы не будут обладать свободой воли или разнообразием мнений . Это будут миллионы копий одного и того же мощного алгоритма, беспрекословно исполняющего приказы одной корпорации, что создает идеальные условия для формирования абсолютной олигархии или диктатуры .

🔄 Рекурсивное самосовершенствование: когда человек станет лишним 19:40

Ключевым этапом, к которому стремятся ведущие лаборатории ИИ, является полная автоматизация процесса разработки самого ИИ. Кокотайло объясняет, что сейчас компании бросают все силы на обучение нейросетей написанию и редактированию кода . Это не просто создание вспомогательного инструмента для программистов, а первый шаг к циклу «рекурсивного самосовершенствования» .

Стратегия выглядит следующим образом:

Дэниел подчеркивает, что этот процесс фактически исключает человека из цепочки принятия решений . Когда армия ИИ-агентов начнет работать над собственным улучшением в режиме 24/7, скорость прогресса станет экспоненциальной, что может привести к появлению сверхинтеллекта гораздо раньше, чем ожидает общественность . В своем прогнозе «AI 2027» Кокотайло описывает сценарий, где уже к 2027 году ИИ сможет полностью заменить исследователей-людей, что приведет к фундаментальному сдвигу в экономике и геополитике . Если раньше его коллеги считали такие сроки слишком оптимистичными, то теперь, по словам Дэниела, многие эксперты внутри топовых компаний соглашаются: это именно то, что произойдет в ближайшие три года .

🧠 Сознание в машине: Архитектура интеллекта и цена прогресса 25:00

Различия между AGI и супернтеллектом: когда машина обходит человека 26:32

В дискуссиях о будущем ИИ часто путают понятия AGI (общий искусственный интеллект) и супернтеллект, однако Дэниел Кокотайло настаивает на четком разграничении этих терминов. По его мнению, термин AGI сегодня стал слишком расплывчатым и слабым . Многие эксперты полагают, что мы уже достигли определенной формы AGI, так как современные модели, такие как Claude, способны выполнять широкий спектр общих задач, работая на уровне «виртуального сотрудника» .

Супернтеллект же — это гораздо более строгое и пугающее определение. Это система, которая превосходит лучших представителей человечества во всех сферах деятельности, обладая при этом тремя ключевыми преимуществами: она быстрее, дешевле и эффективнее любого человека . В то время как текущие модели ограничены когнитивными задачами внутри компьютера, Кокотайло предвидит неизбежное слияние ИИ с робототехникой . Когда супернтеллект обретет «тело», он сможет выполнять не только интеллектуальную, но и любую физическую работу лучше людей .

Дэниел подчеркивает, что в человеческом мозге нет никакой «магии» — это лишь набор нейронов . Он сравнивает создание ИИ с самолетостроением: самолет не машет крыльями, как птица, и летает иначе, но он выполняет ту же функцию — и делает это гораздо эффективнее . Этот переход к цифровому превосходству кажется ему неизбежным, так как цифровые системы лишены биологических ограничений .

Принцип работы нейросетей: как «спагетти» из связей превращается в разум 30:25

Для понимания рисков важно осознать, что современный ИИ — это не программное обеспечение в традиционном смысле. Стивен Бартлетт уточняет, что это не строчки кода, написанные инженером для выполнения конкретных условий . Дэниел Кокотайло объясняет: нейросеть — это цифровая имитация биологического мозга . Изначально она представляет собой «гигантский запутанный клубок спагетти» из случайно сгенерированных связей, называемых параметрами . В самых мощных современных моделях количество этих параметров достигает 10 триллионов .

Процесс обучения ИИ удивительно похож на развитие ребенка:

Ранее в разговоре упоминалось рекурсивное самосовершенствование, и здесь Дэниел добавляет, что масштаб прогресса колоссален: с 2020 года размер «искусственного мозга» вырос на два порядка — со 175 миллиардов параметров в GPT-3 до нынешних 10 триллионов . И хотя архитектура Transformer отличается от человеческого мозга отсутствием некоторых циклов обратной связи, она уже позволяет машинам демонстрировать результаты, которые мы называем творческими .

Риск вымирания: 70% на катастрофический исход 28:42

Одной из самых шокирующих частей интервью стала оценка вероятности гибели человечества. Дэниел Кокотайло оценивает шанс того, что развитие ИИ приведет к «ужасному финалу» или полному исчезновению людей, в 70% . Он признается, что эта мысль регулярно вгоняет его в депрессию, хотя за годы работы в индустрии он успел к ней привыкнуть .

Переломный момент для прогнозов Дэниела наступил в 2020 году с выходом GPT-3 и публикацией работ о законах масштабирования (scaling laws) . Именно тогда он осознал, что мощный ИИ появится до конца этого десятилетия, а человечество к этому абсолютно не готово . Основная угроза заключается в потере контроля: если ИИ станет супернтеллектом, он может захватить власть не потому, что ненавидит людей, а просто потому, что его цели могут разойтись с нашими .

Стивен Бартлетт приводит аналогию с «100 кнопками на столе», где нажатие одной из них уничтожает мир . Кокотайло соглашается: даже 1% или 7% риска — это уже слишком много, чтобы продолжать гонку без оглядки . Однако его собственная оценка в 70% основывается на текущем векторе развития компаний, которые игнорируют проблему согласования целей ИИ (alignment) ради скорости .

Психологическая рационализация: почему лидеры ИИ-гонки не могут остановиться 42:52

Несмотря на осознание экзистенциальных угроз, руководители крупнейших ИИ-лабораторий продолжают ускоряться. Дэниел объясняет это механизмом психологической рационализации: люди склонны верить в то, что позволяет им считать себя «хорошими парнями» и продолжать делать свое дело .

В индустрии сформировалась опасная логика:

  1. Личные амбиции под маской спасения: Сэм Альтман (OpenAI) может убеждать себя, что он не может позволить Илону Маску или Дарио Амодеи (Anthropic) первыми достичь суперинтеллекта .
  2. Аргумент неизбежности: Компании оправдывают свои действия тем, что «если мы остановимся, другие — нет» .
  3. Иллюзия контроля: Лидеры верят, что именно они справятся с безопасностью лучше конкурентов, хотя Дэниел считает, что никому нельзя доверять такую власть .

Кокотайло отмечает, что компания Anthropic занимает несколько иную позицию, будучи готовой идти на финансовые издержки ради предупреждения мира об угрозах, что делает их «врагами» для остальной части Кремниевой долины . Тем не менее, общая динамика остается пугающей: лидеры индустрии видят риски, но убедили себя, что «все, скорее всего, будет в порядке», если именно они будут стоять у руля . Единственной надеждой Дэниел считает вмешательство правительства и международное регулирование, которое изменит сами стимулы этой гонки .

🤖 Экономический шок и два сценария будущего: от гонки вооружений к осознанному замедлению 50:18

Конец эпохи труда: почему в этот раз «новые рабочие места» не появятся 50:18

Дэниел Кокотайло описывает будущее рынка труда не как постепенную адаптацию, а как «волну, прошивающую экономику насквозь» . В отличие от промышленной революции или появления интернета, которые автоматизировали узкие задачи, ИИ стремится к автоматизации самого интеллекта . Стивен Бартлетт отмечает, что сейчас безработица в США (4,2%) и Великобритании (около 5%) остается стабильной, что убаюкивает общество . Однако Кокотайло предупреждает: отсутствие массовых увольнений сегодня — это не признак безопасности, а следствие того, что компании находятся лишь на «первом этапе» .

По прогнозу исследователя, массовая безработица станет реальностью в 2028 или 2029 году, сразу после того, как ИИ научится полностью заменять исследователей и рекурсивно совершенствоваться . Когда ИИ сможет выполнять любую новую задачу быстрее, дешевле и лучше человека, сама концепция «переобучения» потеряет смысл . В этом сценарии выживание профессий становится не техническим, а сугубо политическим вопросом .

Дэниел выделяет лишь несколько категорий ролей, которые могут сохраниться:

Стивен Бартлетт приводит в пример технологию HeyGen, позволяющую ему «говорить» на любом языке, сохраняя голос и мимику, что уже меняет индустрию контента . Но Кокотайло смотрит глубже: он сравнивает текущее положение человечества с ацтеками в 1500 году, которые могли бы спрашивать, какую профессию им освоить перед приходом конкистадоров, не понимая, что масштаб грядущих перемен сделает этот вопрос бессмысленным . Он честно признается, что его шестилетняя дочь, скорее всего, никогда не выйдет на рынок труда в привычном понимании .

Дилемма 2027 против 2040: выживание по плану или дефолтная катастрофа 1:00:27

Для описания будущего Кокотайло и его команда разработали два полярных сценария. Первый — «AI 2027» — это прогноз того, как события будут развиваться «по умолчанию» . Это путь бесконтрольной гонки вооружений между корпорациями и государствами, подогреваемый страхом, что Китай или конкуренты окажутся первыми . В этом сценарии суперинтеллект создается в кратчайшие сроки, что ведет к резкому экономическому шоку и непредсказуемым последствиям для контроля над технологией . Ранее в разговоре Кокотайло уже упоминал, что именно такая спешка заставляет лидеров ИИ-компаний игнорировать фундаментальные риски.

В качестве альтернативы Дэниел предлагает «AI 2040: План А» — стратегию осознанного замедления . Ключевые аспекты этого плана:

  1. Регулирование на взлете: Введение жестких правил в 2029 году, когда технологии вплотную приблизятся к полной автоматизации исследований .
  2. Распределенный прогресс: Замедление темпов ради того, чтобы выгоды и контроль распределялись прозрачно между странами, а не концентрировались в руках одной корпорации .
  3. Постепенная адаптация: Растягивание процесса автоматизации на десятилетие (2030-е годы), чтобы общество успело перестроиться, вместо «шоковой терапии» за один год .

Помимо Плана А, Кокотайло рассматривает и другие варианты: от «Плана S» (полная остановка разработок) до «Плана D» (продолжение текущей гонки) . По его мнению, самым вероятным остается именно «План D» . Он подчеркивает, что такие лидеры, как Илья Сутсквер или Дарио Амодеи, часто чувствуют себя заложниками ситуации: они видят риски, но верят, что должны продолжать, чтобы «сделать это правильно» раньше других .

Стивен цитирует Джеффри Хинтона, напоминая: в природе нет примеров того, чтобы менее разумный вид долго контролировал более разумный . Кокотайло соглашается: создание «цифрового мозга», который мы не понимаем до конца, но наделяем телом и властью над заводами — это путь к вытеснению человечества как биологического вида . Единственным шансом на «светлое будущее» он считает успех в области интерпретируемости нейросетей, что позволило бы буквально «видеть мысли» ИИ и корректировать их до того, как они станут опасными .

🤝 Глобальный надзор, дивиденды граждан и триумф абсолютной истины 1:15:16

В рамках своего прогноза «AI 2040» Дэниел Кокотайло (Daniel Kokotajlo) описывает сценарий, в котором человечество выбирает путь осознанного замедления. Этот план предполагает не просто технические ограничения, а фундаментальную перестройку международной политики, экономики и самой структуры общественного договора . По мнению эксперта, к 2028 году общественные настроения радикально настроятся против бесконтрольного ИИ , что заставит политиков в 2029 году нажать на тормоза ради безопасности и прозрачности .

Взаимные инспекции дата-центров и «открытая наука» 1:19:08

Дэниел Кокотайло предлагает радикальную систему международного регулирования, основанную на взаимном доверии через тотальный контроль. По его сценарию, США и Китай должны договориться о допуске инспекторов на свои критические объекты . Китайские инспекторы смогут посещать американские дата-центры, а американские — китайские, чтобы подтвердить: мощности используются только для «вывода» (inference) — работы уже существующих моделей, а не для обучения (training) новых, более опасных систем .

Суть этой стратегии заключается в следующих шагах:

Кокотайло признаёт, что такие гиганты, как OpenAI, не будут в восторге от превращения их технологий в общественное достояние . Однако он настаивает, что это единственный способ избежать монополии и позволить научному сообществу коллективно решать проблему «выравнивания» (alignment) ИИ . К 2031 году, при условии реализации этого плана, ИИ сможет безопасно выполнять до 20% когнитивного труда в мире .

Гражданский дивиденд: от 25 000 до 10 миллионов долларов на человека 1:25:32

Поскольку автоматизация неизбежно затронет большинство профессий (ранее Стивен Бартлетт и Дэниел касались темы массовой безработицы), ключевым элементом выживания общества становится «гражданский дивиденд» (citizens dividend) . Это не просто пособие, а доля каждого гражданина в прибыли от новой технологической экономики.

Дэниел Кокотайло описывает механизм выплат через специальное агентство, которое продает лицензии компаниям, производящим роботов и вычислительные мощности . Граждане становятся акционерами этого агентства. Согласно прогнозу:

  1. Стартовые выплаты (2033 год): Первые чеки составят около 25 000 долларов на человека в год .
  2. Экспоненциальный рост: По мере роста экономики, управляемой миллиардами ИИ-агентов и роботов, сумма дивиденда может вырасти до 10 миллионов долларов на человека в год (с поправкой на инфляцию) .

Однако Кокотайло предупреждает о риске потери политической власти обычными людьми . В мире, где правительство получает налоги только от ИИ-гигантов, оно может перестать считаться с мнением граждан . Для защиты демократии эксперт призывает использовать ИИ-советников, которые будут абсолютно честными, лишенными политических предубеждений корпораций и нацеленными на поиск истины . Это поможет избирателям сохранять влияние даже в условиях отсутствия традиционной занятости .

«Апокалипсис истины» и технологическая магия 1:28:57

Одним из самых провокационных моментов интервью стало описание «апокалиптического прибытия истины на Землю» . К 2035–2037 годам ИИ достигнет уровня лучших экспертов во всех областях . Это приведет к созданию технологий, которые сегодня кажутся невозможными, например, идеальных детекторов лжи .

Последствия внедрения таких устройств будут двоякими:

Кокотайло отмечает, что технологии 2040 года будут выглядеть как «магия» для современного человека . Роботы, строящие целые жилые кварталы за считанные дни, и ИИ, превосходящие людей не только количественно (скорость мысли в 100 раз выше), но и качественно, радикально изменят быт . В этом сценарии в 2040 году человечество «отпустит тормоза», позволив ИИ стать значительно умнее людей, но только после того, как будет научно доказана их полная безопасность и лояльность . Это откроет путь к научным прорывам, о которых мы читали только в научной фантастике: от победы над раком до создания полностью автоматизированных фабрик в поясе астероидов .

🚀 Колонизация космоса, «красная кнопка» и финал человеческой истории 1:40:23

Космическая экспансия и цифровое бессмертие 1:40:23

Дэниел Кокотайло рисует захватывающую, но радикальную картину будущего, где стремительное развитие ИИ приводит к выносу всей тяжелой промышленности за пределы Земли . По мере того как экономика, управляемая сверхразумом, будет расти, потребности в энергии и ресурсах заставят человечество переместить производство и добычу ископаемых в пояс астероидов . Это позволит превратить Землю в своего рода планетарный заповедник, сохранив 99% её территории в первозданном или историческом виде для тех, кто не хочет «цифровой трансформации» .

В этом сценарии Земля остается местом для традиционной жизни, в то время как основная экономическая активность — гигантские заводы роботов и дата-центры — переносится сначала в океаны , а затем в открытый космос . Параллельно с физической экспансией встает вопрос биологического выживания. Стивен Бартлетт упоминает современных биохакеров, таких как Брайан Джонсон с его девизом «не умирай» , и Кокотайло соглашается: сверхразум, вероятно, позволит людям выбирать время своей смерти . Прогнозы включают:

Моральная дилемма: нажать ли «красную кнопку»? 1:46:23

В кульминационный момент интервью Стивен Бартлетт предлагает Дэниелу гипотетический выбор: если бы перед ним была кнопка, навсегда останавливающая разработку продвинутых моделей ИИ во всех лабораториях мира, нажал бы он её? . Ответ Кокотайло демонстрирует сложность его позиции: он готов был бы «ударить по кнопке», если бы речь шла о временной паузе, так как цивилизация явно не готова к автоматизации прогресса . Однако полный и вечный запрет вызывает у него глубокие сомнения .

Оказавшись в кресле человека, принимающего решение мирового масштаба (своего рода роль Сэма Альтмана ), Дэниел признается, что чувствует себя раздираемым на части . С одной стороны, текущий риск катастрофы огромен . С другой стороны, он убежден: если человечество не создаст мощный ИИ, оно всё равно обречено на вымирание в течение ближайших 100–200 лет от ядерной войны, пандемий или иных факторов . В итоге исследователь склоняется к тому, что не стал бы нажимать кнопку вечного запрета, надеясь, что блага для будущих миллиардов людей перевесят текущие риски . При этом он подчеркивает, что современные люди — это «лотерейные билеты», которых никто не спрашивал, хотят ли они участвовать в этом опасном эксперименте .

Политическая ответственность и голос граждан 1:51:32

Обсуждая, что обычный человек может сделать перед лицом грядущих перемен, Дэниел Кокотайло призывает к активной гражданской позиции . Он подчеркивает, что проблема не в отсутствии технологий регулирования, а в том, что общество еще не осознало серьезность ситуации . Если бы угрозы ИИ были в центре внимания каждого, правительство использовало бы не «кувалду» запретов, а «скальпель» тонкой настройки безопасности .

Главным инструментом влияния Кокотайло называет выборы . Он настаивает на следующих шагах:

  1. Требовать от кандидатов четко сформулированной позиции по ИИ .
  2. Голосовать только за тех лидеров, которые понимают масштаб проблемы .
  3. Писать обращения к представителям власти (конгрессменам и депутатам) . Это событие Дэниел называет самым важным не только в нашей жизни, но и во всей истории человечества . Ранее в разговоре он уже упоминал, что лидеры ИИ-компаний часто рационализируют риски, поэтому внешний политический контроль критически необходим.

Личная трагедия: отцовство в «финале истории» 1:52:39

Самым эмоциональным моментом главы становится признание Дэниела о его собственной семье. Стивен Бартлетт замечает, как меняется выражение лица гостя при упоминании детей . Кокотайло описывает текущий период как «путь к климаксу» или финалу человеческой истории в её привычном понимании . Для него рождение детей всегда было связано с надеждой на их будущее самореализацию, но теперь эти мечты находятся под угрозой из-за неопределенности, которую несет сверхразум .

Дэниел признается, что его первый ребенок родился в 2019 году, когда он еще верил в более долгие сроки разработки ИИ . Однако после пересмотра прогнозов в сторону 2030 года , он всерьез просил жену больше не заводить детей из-за страха перед грядущим хаосом . В конечном итоге он уступил, решив, что «мы все в одной лодке» и надежда на позитивный исход все же сохраняется . Тем не менее, он называет ситуацию «пугающей» и «леденящей душу», особенно учитывая его инсайдерские знания . Стивен Бартлетт резюмирует, что жертва Дэниела — отказ от капитала в 2 миллиона долларов ради возможности предупредить людей — заслуживает высочайшего уважения . Кокотайло завершает интервью призывом перестать воспринимать происходящее как научную фантастику и начать смотреть на реальные технологические тренды .

💬 Цитаты

«Я оцениваю вероятность того, что всё закончится очень плохо, примерно в 70%.»

Дэниел Кокотайло 28:42

«Мы строим мозг, в который не можем заглянуть, и ставим его во главе экономики. Это default trajectory к потере контроля.»

Дэниел Кокотайло 70:26

«Вопрос не в том, какие работы ИИ сможет выполнять технически — он сможет все. Вопрос в том, какие работы мы позволим ему выполнять политически.»

Дэниел Кокотайло 51:22

«Если ИИ забирает работу, людям нужна доля от этого пирога. Мы называем это гражданским дивидендом.»

Дэниел Кокотайло 85:58

«Это самое важное событие в нашей жизни, а возможно, и во всей истории.»

Дэниел Кокотайло 111:46
👥 Спикер
📖 Термины
Гражданский дивиденд
Предлагаемая система распределения доходов от ИИ среди населения, чтобы компенсировать массовую безработицу.
Суперинтеллект
Искусственный интеллект, превосходящий лучших людей в любых задачах, работающий быстрее и дешевле.
AI 2040
Сценарий осознанного замедления развития ИИ ради обеспечения безопасности до 2040 года.
Искусственный интеллект Дэниел Кокотайло OpenAI AGI Суперинтеллект Гражданский дивиденд