Недавние потрясения в руководстве OpenAI обнажили критическую проблему: судьба технологий, способных изменить ход истории, находится в руках узкого круга лиц. Коннор Лихи (Connor Leahy), сооснователь компании Conjecture и видный исследователь безопасности ИИ, в беседе с Крейгом Смитом (Craig S. Smith) анализирует провал корпоративного управления, опасности открытого исходного кода в эпоху AGI и предлагает радикальные меры государственного регулирования — от лимитов на вычислительные мощности до создания глобальной «кнопки смерти».
🏛️ Крах управления OpenAI и миф о подотчётности миллиардеров 10:04
События вокруг увольнения и быстрого возвращения Сэма Альтмана в OpenAI стали для Коннора Лихи подтверждением тезиса, который он продвигал годами: текущие структуры управления ИИ-лабораториями нежизнеспособны . По мнению Лихи, идея о том, что совет директоров, состоящий из «политически неискушённых технарей», может контролировать харизматичного миллиардера и мастера политических игр, была изначально ошибочной .
Основные выводы Лихи из этой ситуации:
- Неэффективность советов директоров: Лихи утверждает, что структуры, подобные совету OpenAI, не способны остановить лидеров уровня Альтмана, если те решат идти наперекор миссии безопасности .
- Иллюзия саморегулирования: Гость подчеркивает, что вера в способность Big Tech самостоятельно ограничивать себя — это «обратная глупость» .
- Необходимость государственного вмешательства: Лихи проводит аналогию с табачными компаниями: саморегулирование в индустрии с огромными внешними эффектами никогда не работало .
☢️ Уроки истории: Маяк, оспа и риски открытого кода 6:32
Обсуждая аргумент Яна Лекуна о том, что открытый исходный код делает ИИ безопаснее за счёт «множества глаз», Коннор Лихи занимает жесткую противоположную позицию. Он приводит в пример советский ядерный объект «Маяк», где отсутствие надлежащих фильтров и секретность привели к катастрофическому радиационному загрязнению .
Лихи выделяет три причины, по которым открытость в ИИ опасна:
- Асимметрия атаки и защиты: В большинстве технологий легче разрушать, чем защищать. По мнению Лихи, создать биооружие проще, чем вакцину, а построить бомбу легче, чем безопасный реактор .
- Эмпирический опыт Open Source: Лихи, будучи одним из основателей EleutherAI, отмечает, что сообщество тратит колоссальные усилия на повышение мощности и «разблокировку» (uncensoring) моделей, но почти ничего не вкладывает в контроль и безопасность .
- Пример «The Bloke»: Лихи упоминает известного участника сообщества под псевдонимом «The Bloke», который систематически убирает ограничения безопасности из моделей и выкладывает их на Hugging Face .
Лихи также напоминает об этической дилемме в биологии: геном оспы доступен в сети, а канадские ученые уже воссоздали вымерший вирус оспы лошадей (horsepox), просто следуя открытым инструкциям . Он задается вопросом: делает ли такая «открытость» мир безопаснее?
🛠️ Три конкретных предложения по регулированию ИИ 24:39
Коннор Лихи предлагает отойти от идеологических споров и сосредоточиться на физически реализуемых мерах контроля. По его мнению, у правительств (особенно США, где сосредоточено производство чипов) достаточно рычагов влияния .
Его регуляторный план включает три пункта:
- Лимит на вычисления (Compute Cap): Введение жесткого ограничения на количество вычислительных операций (FLOPS) для одного обучения. Лихи предлагает порог в районе $10^{24}$ или $10^{25}$ FLOPS . Он утверждает, что ни одно академическое исследование по безопасности не требует таких мощностей, а их использование должно лицензироваться государством .
- Строгая ответственность разработчиков (Strict Liability): Разработчик должен нести полную юридическую и финансовую ответственность за вред, причиненный моделью, независимо от его намерений . Лихи сравнивает это с борьбой за ремни безопасности в 70-х: автопроизводители тоже утверждали, что в авариях виноваты только водители .
- Протокол экстренного отключения (Kill Switch): Создание системы, позволяющей остановить все тренировочные прогоны и развертывания фронтирных моделей менее чем за минуту . Лихи предлагает проводить регулярные «учебные тревоги», когда все ИИ-компании обязаны уйти в офлайн на 60 секунд под угрозой огромных штрафов .
🧠 Политическая матрица и «семантический апокалипсис» 38:49
Лихи описывает психологию политиков через матрицу рисков: политику всегда выгоднее совершить «действие по умолчанию» (ничего не делать), чем рисковать с радикальными реформами . Чтобы изменить ситуацию, общественность должна сделать «ничегонеделание» неприемлемым .
Особую тревогу у Лихи вызывают автономные ИИ-агенты:
- Функциональная шизофрения: Массовое использование ИИ для дезинформации может привести к тому, что люди перестанут сходиться во взглядах на базовую реальность .
- Автоматизированные культы: Лихи предсказывает появление полностью автономных цифровых культов с «ИИ-пророками», способными манипулировать миллионами людей .
- Эпистемологический коллапс: Он признается, что уже сейчас невозможно достоверно проверить, что на самом деле происходит в зонах конфликтов, например на Украине, из-за обилия генерируемого контента .
🥦 Техно-оптимизм против цинизма 52:45
Несмотря на мрачные прогнозы, Лихи называет себя бывшим техно-оптимистом. Он приводит трогательный пример: за последние десятилетия технология заморозки брокколи стала намного лучше, что делает его ужин немного приятнее . По его словам, это и есть истинный прогресс — маленькие улучшения жизни, сделанные людьми для людей.
Однако Лихи жестко критикует современных «акселерационистов», называя их «циниками в маске оптимистов» . Он утверждает:
- Технология — это инструмент, а не судьба: ИИ не является силой природы, это человеческое решение .
- Прецедент клонирования: В прошлом ученые смогли договориться о моратории на клонирование человека, осознав риски. Лихи призывает сделать то же самое с AGI .
- Ошибка выжившего: Вера в то, что «раз раньше всё было нормально, то и сейчас пронесёт», опасна. Лихи напоминает о Станиславе Петрове, который в одиночку предотвратил ядерную войну, нарушив приказ, когда система ложно сообщила об атаке .
«Будущее еще не определено, — заключает Лихи. — У нас все еще есть выбор, но скоро эта возможность исчезнет» .
