# Manhattan Project for AI Safety [Connor Leahy]

Источник: https://www.youtube.com/watch?v=Dt1ySXYTGuA
Канал: Machine Learning Street Talk
Опубликовано: 27.03.2025

---

Специалисты по безопасности искусственного интеллекта Коннор Лихи (Connor Leahy) и Габриэль (Gabe) представляют свой манифест — 115-страничный «Компендиум», в котором аргументируют неизбежность катастрофы при нынешнем подходе к разработке ИИ. В интервью для Machine Learning Street Talk они объясняют, почему Кремниевая долина занимается «санитарной обработкой» (safety washing) рисков, и предлагают радикальный план: создание «Проекта Манхэттен» для безопасности ИИ и возвращение к жесткому государственному регулированию.

## 🧠 Природа интеллекта: почему «выращивание» ИИ опаснее проектирования
[[JUMP:02:04]]

Коннор Лихи утверждает, что современные достижения в области ИИ обусловлены почти исключительно масштабированием вычислительных мощностей, а не глубоким пониманием механизмов работы интеллекта [02:04]. По его мнению, безопасность отодвигается на второй план, в то время как OpenAI, DeepMind и Anthropic направляют все ресурсы на создание более мощных моделей [02:16].

Ключевые тезисы участников о природе современных технологий:

*   **ИИ не проектируется, а выращивается:** Коннор Лихи сравнивает создание ИИ с процессом, когда «частицы в супе перемешиваются, пока из них не возникнет человек» [03:45]. Мы не понимаем, как работает этот «черный ящик».
*   **Отсутствие научной базы:** Собеседники считают, что мы находимся на «доученом» этапе развития, подобно алхимикам до появления химии [05:58]. У человечества нет объективной метрики или теории интеллекта.
*   **Спектр интеллекта:** По мнению Коннора Лихи, нет четкой границы между животными и людьми или между ChatGPT и человеком [13:05]. Все это континуум, где количественные изменения (объем мозга, количество нейронов) приводят к качественным скачкам (способность создавать искусство или ядерное оружие) [03:58].
*   **Опасность разрыва:** Даже небольшое увеличение «размера мозга» (или вычислительной мощности) может привести к появлению способностей, которые невозможно предсказать заранее [04:11].

Габриэль дополняет, что из континуума могут возникать внезапные разрывы (discontinuities) [15:49]. Например, появление письменности или религии позволило людям передавать информацию с гораздо большей пропускной способностью, чем это доступно другим видам [16:01].

## 🚬 Аналогия с Big Tobacco: почему саморегулирование лабораторий — миф
[[JUMP:19:25]]

Коннор Лихи проводит параллель между нынешними заявлениями ИИ-лабораторий и поведением табачных компаний в 1950-х и 60-х годах [19:25]. Тогда производители сигарет утверждали, что, пока наука точно не определила, какое именно вещество вызывает рак, регулировать отрасль рано.

Аргументы против доверия корпорациям:

1.  **Конфликт интересов:** Коннор Лихи иронизирует над Дарио Амодеи (CEO Anthropic) и Сэмом Альтманом, сравнивая их с инженерами ExxonMobil, которые заверяют, что их новые нефтяные вышки «точно не станут проблемой для климата» [40:39].
2.  **Переименование понятий:** Участники утверждают, что термин «alignment» (настройка/выравнивание) был подменен. Изначально он означал согласование целей сверхчеловеческого ИИ с человеческими ценностями, но теперь корпорации используют его как синоним «создания приятного чат-бота», который не ругается [42:18].
3.  **«1984» в исполнении OpenAI:** По словам Габриэля, OpenAI совершила маневр в духе Оруэлла, назвав оригинальную проблему настройки «супервыравниванием» (superalignment), как будто обычная настройка уже решена [42:42].

По мнению собеседников, нынешние системы безопасности — это лишь PR-кампания, направленная на то, чтобы пользователи любили продукт, но она не решает проблему контроля над системой, которая может стать «мировым диктатором» [42:30].

## 🏗️ Проект Манхэттен для безопасности ИИ
[[JUMP:45:23]]

В качестве решения Коннор Лихи и Габриэль предлагают создать масштабный государственный проект, аналогичный «Проекту Манхэттен» [45:23]. Основная идея заключается в том, чтобы собрать величайших ученых поколения для решения проблемы контроля, а не для ускорения гонки.

Основные требования к такому проекту по версии гостей:

*   **Закрытость и безопасность:** Организация должна быть отрезана от остального мира, обладать сверхвысоким уровнем кибербезопасности и работать десятилетиями или даже столетиями [46:58].
*   **Способность «не делать»:** Главное свойство такого института — обладая знаниями о том, как создать сверхразум (ASI), иметь волю и протоколы, чтобы НЕ создавать его до тех пор, пока безопасность не будет гарантирована [46:31].
*   **Междисциплинарный подход:** Необходимо развивать «микроэкономику сверхразума», теорию общественного выбора и социологию систем, превосходящих человека [54:57].

Габриэль подчеркивает, что современные институты не справляются даже с базовыми задачами: «Мы не можем ограничить власть богатейших людей мира, таких как Илон Маск, когда они вступают в сговор с политиками. Как мы можем надеяться ограничить систему, которая в миллиард раз мощнее?» [59:07].

## 🏛️ Лоббирование и «Шоу Трумана»: реальные успехи активистов
[[JUMP:1:13:08]]

Один из самых ярких моментов интервью — рассказ Габриэля о работе их организации Control AI. Вопреки распространенному мнению, что политики «ничего не понимают в ИИ», активисты добились значительных результатов простыми методами.

Результаты эксперимента в Великобритании:

*   **Метод:** Активисты отправили «холодные» письма всем членам парламента (MPs) и лордам [1:14:10].
*   **Статистика:** Им удалось провести более 60 встреч с законодателями за пару месяцев [1:14:20].
*   **Конверсия:** Около 33% (каждый третий) парламентариев после встречи поддержали заявление о необходимости обязательного регулирования для предотвращения рисков исчезновения человечества [1:14:48].

Коннор Лихи признается, что долгое время жил в «пузыре техно-либертарианства», где его убеждали, что разговаривать с политиками бесполезно. Он сравнивает это с «Шоу Трумана»: «Мне говорили: не ходи туда, там ничего нет. А я пошел и увидел, что там живые люди, которые хотят разобраться и нуждаются в помощи» [1:35:25].

## 🛑 Практические меры по спасению человечества
[[JUMP:1:25:01]]

Габриэль и Коннор Лихи предлагают конкретный список регуляторных мер, которые могут быть приняты государствами в одностороннем порядке:

1.  **Кнопка выключения (Kill Switch):** Каждое государство должно иметь возможность физически отключить все вычислительные кластеры на своей территории по нажатию «красной кнопки» президентом [1:25:44]. Проверку этой системы нужно проводить каждые 3–6 месяцев.
2.  **Международный договор с порогами:** Предлагается договор, который вступает в силу только тогда, когда его подпишут страны, представляющие 35% мирового ВВП и 35% населения Земли [1:26:22]. Это снимает проблему «дилеммы заключенного», когда одна страна боится проиграть в гонке, вводя ограничения первой.
3.  **Запрет на разработку AGI:** Гости выступают за то, чтобы сделать создание нерегулируемого, непроверенного сверхразума незаконным [1:30:53].
4.  **Остановка Open Source для мощных моделей:** Коннор Лихи считает «очень плохой идеей» открытую публикацию моделей уровня GPT-5, так как это дает в руки злоумышленников инструменты беспрецедентной мощности без возможности контроля [1:31:21].

## 🐱 Критика идеологий: «Либертарианцы — это домашние коты»
[[JUMP:31:35]]

Коннор Лихи подвергает резкой критике противников регулирования, особенно либертарианцев из Кремниевой долины. По его мнению, их взгляды продиктованы не интеллектом, а привилегированным положением.

«Либертарианцы подобны домашним котам: они полностью зависят от системы, которую не понимают и не ценят», — утверждает Лихи [37:18]. Он настаивает на том, что институты, верховенство закона и порядок — это не состояние природы (которое «краснозубо и жестоко»), а невероятная аномалия, которую человечество построило с огромным трудом и которую может потерять [37:31].

Собеседники выделяют пять основных идеологий, продвигающих ИИ-гонку:

*   **Утописты:** Верят в трансгуманистический рай (Dario Amodei, эффективные альтруисты) [27:14].
*   **Акселерационисты (e/acc):** Считают, что любой рост — это благо, и хотят всё открыть (Марк Андриссен) [27:43].
*   **Big Tech:** ИИ для них — это просто новая форма власти и прибыли [27:55].
*   **Опортунисты:** Люди, пришедшие из криптосферы ради хайпа [28:11].
*   **Идеологи силы:** Те, кто считает, что первый, кто создаст AGI, станет властелином мира.

Коннор Лихи заключает, что подавляющее большинство обычных людей (не из Twitter-пузыря) поддерживают жесткое регулирование ИИ, так как не хотят умирать ради чьих-то трансгуманистических фантазий [1:34:02].

---META---
{
  "title_candidates": [
    "Коннор Лихи: «Либертарианцы — это домашние коты, зависимые от системы, которую они не понимают»",
    "Проект Манхэттен для ИИ: Коннор Лихи и Габриэль о плане предотвращения вымирания человечества",
    "Коннор Лихи о гонке ИИ: «Мы выращиваем черные ящики, не имея науки об интеллекте»"
  ],
  "title": "Коннор Лихи: «Либертарианцы — это домашние коты, зависимые от системы, которую они не понимают»",
  "category": "Искусственный интеллект",
  "keywords": ["Коннор Лихи", "Machine Learning Street Talk", "AI Safety", "AGI", "OpenAI"],
  "tldr": [
    "Создание ИИ сегодня — это не проектирование, а «выращивание» непонятных черных ящиков через масштабирование.",
    "Современный термин «alignment» подменен корпорациями и означает создание вежливых чат-ботов вместо контроля над сверхразумом.",
    "Активисты из Control AI доказали, что 33% британских парламентариев готовы поддерживать законы против ИИ-угроз после разъяснительных бесед.",
    "Предлагается план «Проекта Манхэттен» для безопасности: изолированный институт гениев, способный отказаться от запуска опасных систем."
  ],
  "speakers": [
    {
      "name": "Коннор Лихи",
      "role": "Генеральный директор Conjecture, специалист по безопасности ИИ."
    },
    {
      "name": "Габриэль",
      "role": "Исследователь ИИ в Tufa AI Labs, активист организации Control AI."
    },
    {
      "name": "Тим Скарф",
      "role": "Ведущий канала Machine Learning Street Talk."
    }
  ],
  "books": [
    {
      "title": "A Brief History of Intelligence",
      "author": "Макс Беннетт",
      "context": "Упомянута в контексте эволюции механизмов предсказания у млекопитающих."
    }
  ],
  "films": [
    {
      "title": "The Truman Show",
      "year": "1998",
      "context": "Метафора Коннора Лихи о том, как его пытались убедить в бесполезности общения с политиками."
    }
  ],
  "quotes": [
    {
      "text": "Либертарианцы — это домашние коты, полностью зависимые от системы, которую они не понимают и не ценят.",
      "speaker": "Коннор Лихи",
      "time": "37:18"
    },
    {
      "text": "OpenAI совершила маневр в духе '1984', назвав оригинальную проблему настройки 'супервыравниванием'.",
      "speaker": "Габриэль",
      "time": "42:42"
    },
    {
      "text": "Если вы не можете даже организовать 'Проект Манхэттен' для этой проблемы, вы даже не пытаетесь победить.",
      "speaker": "Коннор Лихи",
      "time": "00:00"
    }
  ],
  "mentioned_urls": [
    {
      "url": "tufalabs.ai",
      "context": "Исследовательская лаборатория ИИ в Цюрихе, где работает Габриэль."
    },
    {
      "url": "control.ai",
      "context": "Организация, занимающаяся лоббированием безопасности ИИ среди политиков."
    }
  ],
  "glossary": [
    {
      "term": "Safety washing",
      "definition": "Пиар-тактика ИИ-компаний, создающая видимость заботы о безопасности при игнорировании фундаментальных рисков."
    },
    {
      "term": "Alignment",
      "definition": "Процесс приведения целей и поведения ИИ в соответствие с человеческими ценностями и намерениями."
    },
    {
      "term": "e/acc",
      "definition": "Эффективный акселерационизм — идеология, призывающая к максимально быстрому развитию технологий без ограничений."
    }
  ],
  "numbers": [
    {
      "value": "115 страниц",
      "context": "Объем документа 'The Compendium', опубликованного гостями.",
      "speaker": "Тим Скарф"
    },
    {
      "value": "33%",
      "context": "Доля британских парламентариев, поддержавших заявление об угрозе вымирания от ИИ после встреч с Control AI.",
      "speaker": "Габриэль"
    },
    {
      "value": "35% ВВП",
      "context": "Порог участия стран в международном договоре, предложенный Габриэлем.",
      "speaker": "Габриэль"
    }
  ],
  "timeline": [
    {
      "date": "Ноябрь 2023",
      "event": "Публикация 115-страничного манифеста 'The Compendium'."
    },
    {
      "date": "Декабрь 2023 - Февраль 2024",
      "event": "Кампания Control AI по организации 60 встреч с британскими политиками."
    },
    {
      "date": "Январь 2024",
      "event": "Холлден Карнофски, глава Open Philanthropy, присоединяется к Anthropic."
    }
  ],
  "counterpoints": [
    {
      "claim": "Интеллект — это континуум, и между человеком и ИИ нет фундаментальной разницы.",
      "counter": "Сторонники Хомского и Роджера Пенроуза утверждают, что человеческий разум обладает уникальными квантовыми или алгоритмическими свойствами (например, способностью к бесконечной рекурсии), недоступными текущим архитектурам."
    },
    {
      "claim": "Регулирование ИИ невозможно из-за отсутствия четких определений интеллекта.",
      "counter": "Либертарианцы и акселерационисты считают, что нечеткость определений приведет к 'регуляторному захвату' крупными корпорациями и подавлению инноваций в Open Source."
    }
  ]
}