Сегодня в США правила продажи сэндвичей строже, чем протоколы создания искусственного сверхразума, способного перехватить контроль над цивилизацией. Пока Макс Тегмарк настаивает на жестком регулировании по модели FDA для предотвращения экзистенциальной катастрофы, Дин Болл предупреждает: попытка оседлать прогресс законом лишь создаст «цифровое феодальное государство» и убьет инновации. Этот спор обнажает фундаментальный разрыв в оценках риска — от почти нулевого до пугающих 92% — ставя человечество перед выбором между безопасностью и технологической свободой.
🛡️ Сверхразум под запретом: великие дебаты о будущем человечества 9:34
Дискуссия о будущем искусственного интеллекта перешла из области научной фантастики в плоскость государственной политики. На фоне прогнозов платформы Metaculus, согласно которым появление общего ИИ (AGI) ожидается уже к 2033 году , в экспертной среде разгорелся острый спор о необходимости законодательного запрета на разработку ещё более мощных систем — сверхразума. Центральным пунктом этого противостояния стало заявление Института будущего жизни (Future of Life Institute), опубликованное 23 октября, которое призывает остановить гонку вооружений в сфере ИИ .
Призыв к мораторию: аргументы Макса Тегмарка 9:34
Макс Тегмарк обосновывает необходимость запрета на разработку сверхразума простым принципом: ни одна технология такой потенциальной мощности не должна выпускаться на рынок без доказательств её безопасности. Согласно его позиции, запрет не должен быть вечным, однако его нельзя снимать до тех пор, пока не будут выполнены два ключевых условия: достижение широкого научного консенсуса о возможности безопасного контроля над системой и получение явного одобрения от общественности .
Тегмарк указывает на парадоксальную ситуацию в современном праве: «На данный момент в США больше правил, регулирующих продажу сэндвичей, чем создание сверхразума» . Он сравнивает ИИ с другими критически важными отраслями — фармацевтикой и авиастроением, где компании обязаны демонстрировать независимым экспертам, что выгоды от их продукта перевешивают риски, прежде чем они получат лицензию на эксплуатацию .
По мнению физика, текущее положение дел является примером «экстремального корпоративного благосостояния», когда коммерческие структуры рискуют безопасностью всего общества ради собственной прибыли. Макс Тегмарк подчеркивает, что 95% американцев не желают участия своей страны в бесконтрольной гонке за сверхразумом, а большинство ученых признают, что на данный момент у человечества нет понимания, как удерживать под контролем сущность, превосходящую нас интеллектуально . Ранее в разговоре участники также вскользь упоминали аналогию ИИ-регулятора с агентством FDA, подчеркивая необходимость жестких стандартов.
Юридический тупик: проблема определения сверхразума 11:20
Дин Болл выступает с критикой предложенного запрета, указывая на фундаментальную проблему: термин «сверхразум» является слишком туманным и неопределенным для законодательного использования . Чтобы запрет работал, его необходимо прописать в статуте, но любая попытка дать жесткое определение рискует либо оставить лазейки, либо случайно криминализировать полезные технологии.
Болл опасается, что под запрет могут попасть системы, которые крайне необходимы человечеству. В качестве примера он приводит гипотетическую модель, которая могла бы за пять лет совершить научный прорыв, эквивалентный столетию прогресса: решить сложнейшие математические задачи, ускорить исследования в биологии или создать совершенный программный код . «Я могу представить существование такой системы к 2030 году без возникновения тех экзистенциальных рисков, о которых беспокоится Макс», — отмечает эксперт .
Кроме того, Дин Болл выделяет три серьезных последствия попытки введения такого запрета:
- Технологический застой: Определение «сверхчеловеческих способностей» может быть настолько широким, что остановит развитие даже специализированных инструментов .
- Проблема «N+2»: На практике регуляторы могут разрешить условный GPT-6, но объявить GPT-7 вне закона просто из страха перед следующим шагом, не имея на то объективных научных оснований .
- Создание государственных картелей: Поскольку исследования безопасности требуют работы с самими моделями, право на разработку может получить лишь узкая группа «санкционированных» организаций. Это приведет к формированию глобального правительственного картеля или монополии, что само по себе несет политические риски .
Безопасность как стандарт: от ответственности компаний к государственному контролю 17:27
В ответ на аргументы о сложности определений Макс Тегмарк предлагает изменить подход: регулировать не абстрактный «сверхразум», а конкретные виды вреда. Он считает, что закон должен требовать от компаний демонстрации стандартов безопасности, аналогично тому, как рестораны проверяются на санитарные нормы перед открытием . Если компания не может доказать, что её модель не научит террористов создавать биооружие или не спровоцирует свержение правительства, такая модель не должна допускаться к релизу .
Тегмарк иллюстрирует это примером с талидомидом — лекарством, которое в прошлом привело к рождению тысяч детей с деформациями конечностей . Вместо того чтобы запрещать конкретные химические формулы, FDA ввело обязательные клинические испытания. В сфере ИИ это означало бы, что бремя доказательства безопасности ложится на плечи разработчика, а не на государство .
Однако Дин Болл скептичен в отношении такого «лицензионного режима». Он указывает, что в авиации (FAA) или энергетике регуляторы требуют соблюдения конкретных технических стандартов (например, химического состава сплава турбины), а не «доказательства отсутствия негативных последствий», так как доказать отрицание невозможно . По мнению Болла, из-за универсальности и «генеральности» современных нейросетей любой регулятор такого типа неизбежно превратится в структуру с безграничной и потенциально опасной властью .
⚖️ Иллюзия ответственности: почему старые правила не работают для ИИ 28:43
Гражданская ответственность и ловушка катастрофических рисков 28:43
В дискуссии о регулировании ИИ Дин Болл занимает позицию, близкую к классическому американскому правовому подходу: инновации должны быть разрешены по умолчанию, пока не доказано обратное. Он утверждает, что разработчики уже несут ответственность в рамках гражданского права . Если выпуск модели приведет к физическому ущербу, потере собственности или смерти, компания столкнется с судебными исками по факту халатности или безрассудного поведения.
Однако Макс Тегмарк указывает на фундаментальную слабость этой логики применительно к экзистенциальным угрозам. В случае глобальной катастрофы или вымирания человечества система гражданской ответственности становится бессмысленной: «Судебные иски не помогут, если мы все мертвы» .
Дин Болл признает это ограничение, отмечая, что классическое право плохо справляется с «хвостовыми рисками» (tail risks) — событиями с низкой вероятностью, но катастрофическими последствиями:
- Ущерб от гипотетической пандемии, вызванной ИИ, может составить 100 триллионов долларов .
- Даже капитализация крупнейших ИТ-гигантов не покроет и малой доли такого урона.
- Банкротство компании-разработчика не обеспечит компенсацию пострадавшему человечеству .
Хотя Болл согласен, что государственная политика должна выходить за рамки простого реагирования на нанесенный ущерб, он скептически относится к созданию масштабного регуляторного аппарата на ранних этапах. По его мнению, эффективнее фокусироваться на конкретных «точках удушения» в физическом мире, таких как контроль за синтезом нуклеиновых кислот, чтобы предотвратить создание биологического оружия с помощью ИИ . Ранее в разговоре собеседники уже касались сложности юридического определения сверхразума, что лишь усложняет задачу создания превентивных норм.
Цифровое «усиление функций»: уроки вирусологии 32:51
Макс Тегмарк проводит пугающую параллель между развитием ИИ и биологическими исследованиями «усиления функций» (gain-of-function). Он напоминает о дискуссиях вокруг происхождения COVID-19 и отмечает, что правительство США уже ограничило финансирование подобных работ до тех пор, пока риски не будут лучше изучены . В биологии существуют уровни биобезопасности (BSL 1–4), требующие специальных лабораторий и разрешений для работы с опасными патогенами .
Тегмарк утверждает, что современная индустрия ИИ фактически занимается «цифровым усилением функций», но без какого-либо надзора:
- Рекурсивное самосовершенствование: Сэм Альтман и другие лидеры индустрии открыто говорят о создании «автоматизированных ИИ-исследователей» .
- Отсутствие барьеров: В отличие от биологии, где для опасных опытов нужны спецобъекты, цифровые «вирусы» создаются в обычных дата-центрах.
- Доступность инструментов: Модели, обученные на последовательностях нуклеиновых кислот, уже позволяют симулировать эволюцию вирусов для повышения их вирулентности .
Дин Болл возражает, что регулировать «биты» (программный код) гораздо сложнее, чем физические объекты . Он считает, что ИИ — это технология общего назначения, подобная электричеству или транзисторам, которые также косвенно становятся причиной смертей, но не регулируются на уровне «абстрактных идей». Тем не менее, Болл признает, что из-за ИИ срочность таких мер, как скрининг синтеза ДНК, резко возрастает . Он ожидает, что стандарты безопасности для больших языковых моделей появятся со временем, но этот процесс будет постепенным и может занять десятилетие .
Исторический опыт: обучение на ошибках 42:15
Центральным пунктом спора становится вопрос: к какому типу технологий относится ИИ? Дин Болл защищает традиционный путь развития: сначала создается технология, затем, исходя из практического опыта и зафиксированного ущерба, вводятся стандарты безопасности. Так было с автомобилями: ремни и светофоры появились только после множества аварий . По его мнению, стандарты, созданные в «башне из слоновой кости» без реального опыта эксплуатации, будут нереалистичными и обременительными .
Тегмарк категорически не согласен с переносом этого опыта на сверхразум. Он делит технологии на две группы:
- Ниже порога риска: Автомобили, огонь, AlphaFold . Здесь метод проб и ошибок допустим и полезен.
- Выше порога риска: Ядерное оружие и сверхразум. Здесь одна ошибка может стать последней.
«Мы не позволяем любому желающему покупать водородные бомбы в супермаркетах, чтобы потом, после ядерной зимы, ввести правила их хранения», — иронизирует Тегмарк . Он приводит данные расчетов, согласно которым даже в случае полномасштабной ядерной войны с Россией выживет около 3 миллионов американцев . Однако потеря контроля над сверхразумом, по его мнению, означает «полный конец игры» без шансов на восстановление .
Тегмарк подчеркивает, что он не призывает остановить весь прогресс в области ИИ. Он предлагает разделить разработку на два русла: создание полезных, контролируемых инструментов (таких как системы для диагностики болезней или беспилотники) и рискованную гонку к сверхразуму . Дин Болл, в свою очередь, отмечает, что в недавних правительственных планах термин «сверхразум» намеренно избегается из-за отсутствия консенсуса в его определении . Тем не менее, появление моделей с выраженным «рассуждением второго типа» (System 2 reasoning), способных планировать сложные биологические и кибер-атаки, заставило даже таких скептиков, как Болл, пересмотреть свои оценки катастрофических рисков .
⚖️ Между безопасностью и инновациями: уроки FDA и калифорнийский опыт 50:18
Дискуссия о будущем искусственного интеллекта неизбежно переходит от философских размышлений к конкретным механизмам государственного надзора. Основной спор в этой части беседы разворачивается вокруг того, как именно общество должно ограничивать риски, не подавляя при этом технологический прогресс. Дин Болл и Макс Тегмарк анализируют текущие попытки правового регулирования и спорят о применимости исторических аналогий к ИИ-индустрии.
Логика o1 и новая эра точечного регулирования 50:32
Дин Болл признаёт, что его позиция в отношении ИИ эволюционировала вместе с самой технологией. Важнейшим фактором стало появление моделей с развитыми способностями к рассуждению (так называемая «System 2», ярким примером которой является модель o1). По мнению Болла, способность ИИ к логическому поиску решений значительно повышает вероятность реализации катастрофических сценариев в биологии и киберсфере . Если модель способна самостоятельно находить пути обхода защитных барьеров или помогать в создании патогенов, риски перестают быть теоретическими.
Именно этот «сдвиг фактов на земле» заставил Болла поддержать законопроект SB 53, который он называет более «отточенной» версией последовавшего за ним SB 1047 . Главный аргумент здесь заключается в том, что когда возникает прямая связь между эмерджентными способностями модели и конкретным, осязаемым вредом, точечное регулирование становится необходимостью. При этом Болл подчёркивает, что вместо принятия громоздких законов индустрия могла бы сосредоточиться на технических оценках (evals). Если бы авторитетные лаборатории договорились о прохождении строгих тестов на безопасность, потребность в государственном вмешательстве могла бы снизиться .
Законопроект SB 1047: Обуздание вычислительной мощи 47:47
В центре внимания экспертов оказывается резонансный калифорнийский законопроект SB 1047. Основная идея этого документа заключалась в попытке классифицировать риски ИИ на основе объективных количественных критериев: объёма вычислительных мощностей и стоимости обучения моделей (например, превышающей 100 миллионов долларов) . Ранее в разговоре собеседники касались темы гражданской ответственности, и SB 1047 стал попыткой перевести эти обсуждения в плоскость конкретных обязательств для разработчиков крупнейших моделей.
Макс Тегмарк поддерживает такой подход, сравнивая его с делением лекарств на классы в зависимости от их опасности . С его точки зрения, глупо предъявлять одинаковые требования к переводчику с английского на китайский и к модели, специализирующейся на синтезе белков или ДНК . Законопроект SB 1047 предлагал обязать компании доказывать безопасность своих систем ещё до их релиза, что, по мнению Тегмарка, создало бы «золотой век» ответственного ИИ. Однако критики, включая Болла, опасаются, что фокус на вычислительных мощностях как на метрике опасности может быть ошибочным, так как эффективность алгоритмов растёт, позволяя достигать тех же опасных результатов на меньшем «железе».
Модель FDA для ИИ: Прорыв в безопасности или путь к стагнации? 52:46
Макс Тегмарк последовательно отстаивает необходимость создания «FDA для ИИ» — регулятора, подобного Управлению по санитарному надзору за качеством пищевых продуктов и медикаментов в США. Он напоминает о трагедии с талидомидом — препаратом, который считался безопасным средством от тошноты для беременных, но приводил к тяжёлым врождённым дефектам у детей . Аналогия проста: когда последствия ошибки могут быть необратимыми, бремя доказательства безопасности должно лежать на компании, а не на государстве .
Тегмарк предлагает систему уровней безопасности ИИ (AI Safety Levels 1–4), аналогичную принятой в биологических лабораториях. Он отмечает разительный контраст в расходах на безопасность:
- Ведущие ИИ-компании тратят на безопасность около 1% своего бюджета .
- Фармацевтические гиганты (Novartis, Pfizer) тратят значительную часть средств на клинические испытания, так как это является их финансовым стимулом: соответствие стандартам безопасности — единственный путь к рынку .
Дин Болл, однако, выступает с резкой критикой этой модели. По его мнению, FDA является примером системы, которая «закостенела» и мешает инновациям . Болл утверждает, что современная медицина сталкивается с тем, что болезни (рак, Альцгеймер) гораздо сложнее, чем предполагалось 100 лет назад при создании FDA. Нынешний регуляторный режим требует испытаний на больших группах населения для получения «среднестатистических» данных, что полностью блокирует развитие персонализированной медицины .
Перенос такой «нисходящей» (top-down) модели на ИИ, по мнению Болла, принесёт огромные издержки и зацементирует устаревшие архитектуры. Он настаивает на том, что прогресс в области ПО и интернета стал возможен именно благодаря отсутствию разрешительного режима, и даже успехи современной медицины сегодня во многом зависят от вычислительных мощностей, а не от «чистых» биологических достижений .
🤖 Сверхразум как новый вид и математика экзистенциального риска 1:15:21
В четвёртой главе дискуссии Лирон Шапира подводит участников к самому острому вопросу: почему при одних и тех же вводных данных эксперты приходят к диаметрально противоположным выводам? Ответ кроется в «P-Doom» — субъективной оценке вероятности гибели человечества от рук ИИ. Пока Дин Болл и Макс Тегмарк спорят о цифрах, на поверхность всплывают глубинные страхи: от превращения людей в «класс на пособии» до появления цифрового вида, способного принимать решения в миллионы раз быстрее человеческого мозга.
P-Doom: фундаментальный разрыв в оценках 1:19:49
Лирон Шапира отмечает, что позиции сторон могут сближаться в вопросах конкретной политики, но их разделяет фундаментальная пропасть в оценке рисков . Когда ведущий просит Дина Болла оценить его «P-Doom» (вероятность катастрофы или вымирания), тот называет крайне низкие цифры — от 0,1% до 0,01% . По мнению Болла, сценарий, в котором ИИ выходит из-под контроля и уничтожает население, кажется маловероятным при трезвом анализе адаптивности человеческих институтов.
В противовес этому, Макс Тегмарк озвучивает пугающий прогноз. Основываясь на математическом моделировании, которое он провёл вместе с аспирантами Массачусетского технологического института (MIT), Тегмарк оценивает вероятность провала контроля над сверхразумом более чем в 90% . По его словам, в самом оптимистичном сценарии их модель показала 92% вероятности того, что текущие методы надзора за ИИ потерпят крах . Этот колоссальный разрыв в цифрах — 0,1% против 92% — и является корнем всех разногласий по поводу необходимости жёстких запретов.
ИИ как конкурирующий вид и социально-экономический слом 1:22:39
Тегмарк настаивает на том, что сверхразум нельзя рассматривать просто как продвинутое программное обеспечение. Он призывает видеть в нём потенциально автономный «новый вид роботов» . Если человечество проиграет в этой межвидовой конкуренции, оно может полностью утратить контроль над планетой. Ранее в разговоре участники касались аналогии с FDA (которую мы подробно разбирали в главе 3), но здесь дискуссия переходит в плоскость человеческого достоинства и экономики.
Спор о безработице обнажает ещё одну грань риска. Дин Болл утверждает, что рынок труда — это адаптивная система. Он приводит в пример твит консервативного инфлюенсера Мэтта Уолша о потере 5 миллионов рабочих мест за 10 лет, называя этот сценарий даже слишком оптимистичным . Для Болла это нормальный процесс «созидательного разрушения» экономики .
Однако Тегмарк видит здесь иную опасность:
- Экономическая ненужность: Сверхразум по определению может сделать человека экономически бесполезным во всех сферах .
- Концентрация власти: Это приведет к беспрецедентному сосредоточению ресурсов в руках узкой группы лиц из Сан-Франциско, чьи ценности могут не совпадать с общечеловеческими .
- Утрата достоинства: Люди станут зависимыми от государственных пособий (UBI), что лидеры различных религиозных конфессий и политических течений (от Берни Сандерса до Стива Бэннона) считают глубоко антигуманным и унизительным .
Проблема контроля и рекурсивный взрыв 1:27:53
Центральным техническим аргументом Тегмарка становится несостоятельность метода «рекурсивного масштабируемого надзора» (recursive scalable oversight). Суть идеи в том, чтобы использовать ИИ для контроля над чуть более мощным ИИ. Математика Тегмарка показывает, что эта цепочка неизбежно рвётся .
Дин Болл оппонирует, заявляя, что любая технология общего назначения (от железа до компьютеров) проходит через циклы «самосовершенствования»: мы используем сталь, чтобы добывать больше стали, и компьютеры, чтобы проектировать лучшие чипы . По его мнению, ИИ — лишь очередной виток этой спирали .
Макс Тегмарк парирует это тем, что во всех предыдущих случаях в контуре управления всегда оставался человек (human-in-the-loop) . В случае с ИИ, который может мыслить в миллионы раз быстрее нас, человек становится лишним звеном. Тегмарк сравнивает это с ядерным взрывом: в процессе деления атомов нет «человека в контуре», поэтому реакция происходит мгновенно . Мы не можем полагаться на то, что «раньше всё было хорошо», потому что мы никогда прежде не создавали нечто, превосходящее нас когнитивно.
Геополитика: фактор Китая и «гонка самоубийц» 1:36:49
Одним из главных аргументов против регулирования в США является страх перед Китаем. Лоббисты утверждают: «Если мы притормозим, Китай победит» . Тегмарк называет это «полной ерундой» и предлагает разделять две разные гонки:
- Гонка за доминированием: Создание мощных, но управляемых инструментов (экономических, военных). В ней нужно побеждать.
- Гонка к сверхразуму: Попытка первыми создать то, что никто не умеет контролировать. Тегмарк называет это «гонкой самоубийц» .
В качестве доказательства Тегмарк приводит анекдот от Илона Маска, который весной 2023 года встречался с высокопоставленными чиновниками КНР . Когда Маск заметил, что после появления сверхразума Китаем будет править не Компартия, а этот самый ИИ, лица присутствующих заметно вытянулись . Вскоре после этого Китай ввёл свои первые жесткие регуляции в области ИИ.
Китайский авторитарный режим ценит контроль превыше всего, поэтому Пекин — последний, кто заинтересован в появлении неуправляемой цифровой силы на своей территории . Тегмарк заключает, что даже в вопросах национальной безопасности США должны видеть в бесконтрольном сверхразуме не «инструмент победы», а новую угрозу, которую глава Anthropic Дарио Амодеи однажды сравнил с появлением «целой страны гениев в дата-центре» .
🏁 Будущее по выбору: между цифровой тиранией и прочеловеческим триумфом 1:40:24
Финал дискуссии между Максом Тегмарком и Дином Боллом сместил фокус с технических деталей регулирования на фундаментальные вопросы: в каком обществе мы хотим жить и кто в конечном итоге будет держать штурвал цивилизации. Пока физики и эксперты по политике спорят о вероятности катастрофы, на горизонте вырисовываются два радикально разных сценария развития человечества.
Риск цифровой тирании и «государство рантье» 1:41:28
Для Дина Болла главный кошмар, связанный с ИИ, заключается не в восстании машин, а в трансформации государственного устройства. Он предупреждает, что попытки жесткого регулирования и лицензирования технологии могут привести к возникновению «государства рантье» . В этой антиутопии ИИ становится инструментом, позволяющим узкой группе лиц захватить и удерживать власть, полностью подорвав демократическую легитимность.
Дин описывает структуру такого общества, проводя параллели с мрачным Средневековьем:
- Правящая элита: небольшая группа людей, контролирующая ключевые вычислительные мощности и алгоритмы .
- Средний класс «рантье»: прослойка людей, имеющая юридическую защиту и извлекающая выгоду из близости к технологическим ресурсам.
- Бесправный низший класс: огромная масса населения с «нулевой агентностью», лишенная возможности вносить значимый вклад в экономику или влиять на свою судьбу .
По мнению Болла, лицензионные режимы, которые сейчас активно лоббируются для «безопасности», могут стать тем самым механизмом, который зацементирует эту иерархию . Вместо защиты общества они создадут барьеры для входа, превращая ИИ в эксклюзивный инструмент контроля. Хотя Дин признает, что проигрыш в технологической гонке Китаю — это плохой сценарий , внутренняя тирания, порожденная страхом перед прогрессом, кажется ему не менее опасной.
Философия прочеловеческого будущего 1:44:03
Макс Тегмарк в своем финальном обращении подчеркнул, что его призывы к осторожности продиктованы не пессимизмом, а желанием не упустить величайший шанс в истории вида. Он видит перед человечеством развилку из двух путей. Первый путь — это «прочеловеческое будущее», где ИИ остается мощным, постоянно совершенствующимся инструментом, но не становится заменой человеку .
Тегмарк напоминает, что США создавались как страна «для людей», а не для «американских машин» . В его видении технологии должны направляться на искоренение болезней и рост производительности, но при условии, что люди остаются «капитанами своего корабля» . Макс критикует «невероятную амбициозность» тех, кто стремится создать сверхразум, способный полностью заменить человеческую деятельность: «Зачем нам сознательно строить что-то, что лишит нас контроля после сотен тысяч лет борьбы за расширение наших возможностей?» .
Макс указывает на опрос, согласно которому 95% американцев хотят сохранить контроль над ИИ, и называет сторонников бесконтрольной гонки сверхразумов «небольшой маргинальной группой из Кремниевой долины» . Он призывает воспринимать риск потери контроля над ИИ так же серьезно, как гипотетическое вторжение инопланетного флота .
Баланс между гибкостью и демократическим импульсом 1:48:29
Дин Болл парирует, что многие опасения Макса строятся на допущении, что сверхразум обязательно будет враждебным или неуправляемым, в то время как будущее часто оказывается гораздо страннее и сложнее наших прогнозов . Ранее в разговоре они уже касались темы P-Doom (вероятности гибели человечества), и Дин вновь подчеркивает: мы не должны встраивать наши текущие страхи и недоказанные предположения в жесткие законы .
Дин обращается к истории американской государственности, напоминая, что отцы-основатели сознательно создали систему, в которой трудно принимать новые законы . Они с глубоким недоверием относились к «сырому демократическому импульсу» и сиюминутным интуициям толпы . С его точки зрения, попытка ввести тотальный запрет или жесткий регуляторный режим (аналогичный FDA, о котором упоминалось в середине дискуссии) может иметь катастрофические побочные эффекты, остановив прогресс, который мог бы спасти миллионы жизней .
Вместо запретов Дин предлагает строить общество, способное адаптироваться к изменениям и эволюционировать вместе с технологией . В этом и заключается коренной раскол: Макс Тегмарк требует гарантий безопасности до того, как мы сделаем следующий шаг , а Дин Болл настаивает на том, что безопасность куется в процессе развития и гибкого реагирования на реальные, а не воображаемые угрозы .
Подводя итог, Лирон Шапира отметил, что их рекомендации в области политики полностью зависят от их оценки рисков: если бы Дин считал вероятность катастрофы высокой, он бы первым потребовал жесткого контроля. В конечном счете, дебаты об ИИ — это не просто спор о коде, это создание «социальной инфраструктуры» для принятия решений, от которых зависит выживание вида .
