# Коннор Лихи о рисках ИИ: «Мы играем в русскую рулетку, надеясь на ошибку выжившего»

Источник: https://www.youtube.com/watch?v=BhQBmVZ5XP4
Канал: Eye on AI
Опубликовано: 29.11.2023

---

Недавние потрясения в руководстве OpenAI обнажили критическую проблему: судьба технологий, способных изменить ход истории, находится в руках узкого круга лиц. Коннор Лихи (Connor Leahy), сооснователь компании Conjecture и видный исследователь безопасности ИИ, в беседе с Крейгом Смитом (Craig S. Smith) анализирует провал корпоративного управления, опасности открытого исходного кода в эпоху AGI и предлагает радикальные меры государственного регулирования — от лимитов на вычислительные мощности до создания глобальной «кнопки смерти».

## 🏛️ Крах управления OpenAI и миф о подотчётности миллиардеров
[[JUMP:10:04]]

События вокруг увольнения и быстрого возвращения Сэма Альтмана в OpenAI стали для Коннора Лихи подтверждением тезиса, который он продвигал годами: текущие структуры управления ИИ-лабораториями нежизнеспособны [10:18]. По мнению Лихи, идея о том, что совет директоров, состоящий из «политически неискушённых технарей», может контролировать харизматичного миллиардера и мастера политических игр, была изначально ошибочной [11:13].

Основные выводы Лихи из этой ситуации:

*   **Неэффективность советов директоров:** Лихи утверждает, что структуры, подобные совету OpenAI, не способны остановить лидеров уровня Альтмана, если те решат идти наперекор миссии безопасности [11:27].
*   **Иллюзия саморегулирования:** Гость подчеркивает, что вера в способность Big Tech самостоятельно ограничивать себя — это «обратная глупость» [11:41].
*   **Необходимость государственного вмешательства:** Лихи проводит аналогию с табачными компаниями: саморегулирование в индустрии с огромными внешними эффектами никогда не работало [19:50].

## ☢️ Уроки истории: Маяк, оспа и риски открытого кода
[[JUMP:06:32]]

Обсуждая аргумент Яна Лекуна о том, что открытый исходный код делает ИИ безопаснее за счёт «множества глаз», Коннор Лихи занимает жесткую противоположную позицию. Он приводит в пример советский ядерный объект «Маяк», где отсутствие надлежащих фильтров и секретность привели к катастрофическому радиационному загрязнению [07:39].

Лихи выделяет три причины, по которым открытость в ИИ опасна:

1.  **Асимметрия атаки и защиты:** В большинстве технологий легче разрушать, чем защищать. По мнению Лихи, создать биооружие проще, чем вакцину, а построить бомбу легче, чем безопасный реактор [14:54].
2.  **Эмпирический опыт Open Source:** Лихи, будучи одним из основателей EleutherAI, отмечает, что сообщество тратит колоссальные усилия на повышение мощности и «разблокировку» (uncensoring) моделей, но почти ничего не вкладывает в контроль и безопасность [16:24].
3.  **Пример «The Bloke»:** Лихи упоминает известного участника сообщества под псевдонимом «The Bloke», который систематически убирает ограничения безопасности из моделей и выкладывает их на Hugging Face [16:36].

Лихи также напоминает об этической дилемме в биологии: геном оспы доступен в сети, а канадские ученые уже воссоздали вымерший вирус оспы лошадей (horsepox), просто следуя открытым инструкциям [14:14]. Он задается вопросом: делает ли такая «открытость» мир безопаснее?

## 🛠️ Три конкретных предложения по регулированию ИИ
[[JUMP:24:39]]

Коннор Лихи предлагает отойти от идеологических споров и сосредоточиться на физически реализуемых мерах контроля. По его мнению, у правительств (особенно США, где сосредоточено производство чипов) достаточно рычагов влияния [22:55].

Его регуляторный план включает три пункта:

1.  **Лимит на вычисления (Compute Cap):** Введение жесткого ограничения на количество вычислительных операций (FLOPS) для одного обучения. Лихи предлагает порог в районе $10^{24}$ или $10^{25}$ FLOPS [25:20]. Он утверждает, что ни одно академическое исследование по безопасности не требует таких мощностей, а их использование должно лицензироваться государством [26:39].
2.  **Строгая ответственность разработчиков (Strict Liability):** Разработчик должен нести полную юридическую и финансовую ответственность за вред, причиненный моделью, независимо от его намерений [27:32]. Лихи сравнивает это с борьбой за ремни безопасности в 70-х: автопроизводители тоже утверждали, что в авариях виноваты только водители [29:02].
3.  **Протокол экстренного отключения (Kill Switch):** Создание системы, позволяющей остановить все тренировочные прогоны и развертывания фронтирных моделей менее чем за минуту [31:10]. Лихи предлагает проводить регулярные «учебные тревоги», когда все ИИ-компании обязаны уйти в офлайн на 60 секунд под угрозой огромных штрафов [31:37].

## 🧠 Политическая матрица и «семантический апокалипсис»
[[JUMP:38:49]]

Лихи описывает психологию политиков через матрицу рисков: политику всегда выгоднее совершить «действие по умолчанию» (ничего не делать), чем рисковать с радикальными реформами [39:29]. Чтобы изменить ситуацию, общественность должна сделать «ничегонеделание» неприемлемым [40:50].

Особую тревогу у Лихи вызывают автономные ИИ-агенты:

*   **Функциональная шизофрения:** Массовое использование ИИ для дезинформации может привести к тому, что люди перестанут сходиться во взглядах на базовую реальность [46:08].
*   **Автоматизированные культы:** Лихи предсказывает появление полностью автономных цифровых культов с «ИИ-пророками», способными манипулировать миллионами людей [44:51].
*   **Эпистемологический коллапс:** Он признается, что уже сейчас невозможно достоверно проверить, что на самом деле происходит в зонах конфликтов, например на Украине, из-за обилия генерируемого контента [47:24].

## 🥦 Техно-оптимизм против цинизма
[[JUMP:52:45]]

Несмотря на мрачные прогнозы, Лихи называет себя бывшим техно-оптимистом. Он приводит трогательный пример: за последние десятилетия технология заморозки брокколи стала намного лучше, что делает его ужин немного приятнее [53:23]. По его словам, это и есть истинный прогресс — маленькие улучшения жизни, сделанные людьми для людей.

Однако Лихи жестко критикует современных «акселерационистов», называя их «циниками в маске оптимистов» [55:18]. Он утверждает:

*   **Технология — это инструмент, а не судьба:** ИИ не является силой природы, это человеческое решение [56:09].
*   **Прецедент клонирования:** В прошлом ученые смогли договориться о моратории на клонирование человека, осознав риски. Лихи призывает сделать то же самое с AGI [21:37].
*   **Ошибка выжившего:** Вера в то, что «раз раньше всё было нормально, то и сейчас пронесёт», опасна. Лихи напоминает о Станиславе Петрове, который в одиночку предотвратил ядерную войну, нарушив приказ, когда система ложно сообщила об атаке [49:33].

«Будущее еще не определено, — заключает Лихи. — У нас все еще есть выбор, но скоро эта возможность исчезнет» [57:04].