# Эзра Кляйн о регулировании ИИ: ответственность за «взрыв» модели должна лежать на разработчиках

Источник: https://www.youtube.com/watch?v=MY-NQ85iH18
Канал: 80,000 Hours
Опубликовано: 09.04.2024

---

В этом выпуске подкаста **80,000 Hours** ведущий Роб Виблин обсуждает с известным журналистом и политическим обозревателем **Эзрой Кляйном** перспективы регулирования искусственного интеллекта. Основное внимание уделено тому, как идеи о «экзистенциальном риске» ИИ воспринимаются в Вашингтоне, какие регуляторные механизмы (от юридической ответственности до контроля вычислительных мощностей) могут реально сработать и почему для предотвращения катастроф необходимо строить долгосрочные отношения с политиками уже сегодня.

## 🤝 Конфликт сообществ: этика против экзистенциального риска
[[JUMP:2:46]]

В индустрии ИИ наблюдается явное напряжение между двумя группами: теми, кто сосредоточен на текущем вреде (предвзятость алгоритмов, дезинформация), и теми, кто обеспокоен долгосрочными рисками (выживание человечества) [3:02]. 

По мнению **Эзры Кляйна**, это не просто спор о приоритетах, а фундаментальное разногласие в определении того, с чем именно мы имеем дело [4:01]. Основные тезисы этой дискуссии:

*   Критики со стороны «этики ИИ» утверждают, что адепты «экзистенциального риска», сознательно или нет, участвуют в системе хайпа, которая привлекает огромные деньги к нескольким крупным компаниям [4:19].
*   Сторонники теории риска (longtermists) считают, что проблема алгоритмической предвзятости ничтожна по сравнению с угрозой полного уничтожения человечества [4:44].
*   **Эзра Кляйн** полагает, что реальное сближение этих групп произойдет только в момент кризиса. Когда произойдет событие, требующее законодательного решения (например, крупный сбой инфраструктуры или массовая гибель людей), участникам дискуссии придется искать общие точки соприкосновения вместо споров в Twitter [5:41].

## 📉 Стратегия «Пунктирного равновесия» в политике
[[JUMP:7:11]]

**Эзра Кляйн** объясняет, что законодательные процессы в США часто следуют модели «пунктирного равновесия»: долгие периоды бездействия сменяются резкими переменами в моменты кризиса [7:24]. 

Для того чтобы повлиять на ситуацию, идеи должны быть подготовлены заранее. По мнению гостя:

1.  Идеи должны лежать «не в ящике стола, а на полке», чтобы в момент кризиса политики могли их легко достать [7:11].
2.  Источник идей должен быть заслуживающим доверия. Кляйн отмечает, что серьезные законопроекты (например, закон о чипах — CHIPS Act) часто вырастают из аналитических записок и книг, которые почти никто не читал, но которые изучили пять ключевых сотрудников Конгресса [8:58].
3.  Необходимо выстраивать личные отношения с политиками. Законотворчество — это глубоко человеческий и реляционный процесс, где мнение одного аналитика может определить судьбу целой отрасли только потому, что глава подкомитета знает его лично [25:04].

## 🛑 Как эффективно замедлить развитие ИИ
[[JUMP:9:42]]

Гость скептически относится к идее «просто сделать паузу». С его точки зрения, призыв замедлиться — это слабая политическая позиция, которая вряд ли победит на выборах [9:54]. 

Вместо этого **Эзра Кляйн** предлагает «замедляться через качество»:

*   **Требование интерпретируемости:** Конгресс мог бы законодательно запретить выпуск систем ИИ до тех пор, пока компании не смогут объяснить, как именно система принимает решения [10:24]. Поскольку разработчики пока сами не понимают внутреннюю логику моделей, это требование естественным образом затормозило бы отрасль [11:07].
*   **Юридическая ответственность (Liability):** Сегодня компании соцсетей имеют иммунитет к ответственности за контент пользователей. **Эзра Кляйн** считает, что для ИИ правила должны быть другими [11:58]. Если OpenAI или Google выпускают модель, которая помогает создать биологическое оружие, они должны нести ответственность за небрежность при тестировании [13:45].
*   **Аналогия с бытовой техникой:** Кляйн сравнивает ИИ с микроволновкой: если вы ударите кого-то микроволновкой — производитель не виноват, но если она взорвется при нормальном использовании — ответственность несет компания [15:28]. В случае с ИИ даже возможность «джейлбрейка» (взлома ограничений модели) должна считаться дефектом проектирования [17:35].

## 🏢 Институциональный вакуум в Вашингтоне
[[JUMP:22:17]]

**Эзра Кляйн** выражает обеспокоенность тем, что между экспертами по рискам ИИ и реальными политиками в округе Колумбия существует огромная дистанция [23:50]. 

*   Когда президент Байден хочет обсудить ИИ, он говорит с Сэмом Альтманом (главой OpenAI), потому что альтернативных авторитетных источников экспертизы в правительстве почти нет [24:04].
*   Многие люди, всерьез обеспокоенные рисками ИИ, предпочитают работать внутри самих лабораторий ИИ в Сан-Франциско, вместо того чтобы ехать в Вашингтон и заниматься «скучной» регуляторной работой [50:48].
*   Гость называет «социологическим парадоксом» ситуацию, когда люди, искренне боящиеся гибели человечества от ИИ, продолжают ускорять его развитие, работая в коммерческих компаниях из-за интереса к технологиям или ради престижа [51:05].

В качестве примера успешной работы он приводит организацию **CSET** (Центр безопасности и новых технологий при Джорджтаунском университете), чью экспертизу использует лидер большинства в Сенате Чак Шумер [52:56].

## 🧪 Альтернативные модели: МАГАТЭ для ИИ и «Проект Манхэттен» по безопасности
[[JUMP:31:26]]

Собеседники обсуждают несколько глобальных подходов к контролю ИИ:

1.  **Модель МАГАТЭ:** Создание международного агентства для инспекции вычислительных центров [38:32]. Кляйн считает это труднореализуемым, так как ИИ — это в первую очередь потребительская технология с огромным коммерческим потенциалом, в отличие от урана, который сложно добыть и который имеет почти исключительно военное назначение [40:19].
2.  **Лицензирование вычислительных мощностей (Compute Governance):** Ограничение доступа к чипам для проектов без правительственной лицензии [31:14]. Это может привести к созданию государственных монополий, что вызовет сопротивление политиков [32:51].
3.  **«Проект Манхэттен» по безопасности:** Кляйн поддерживает идею массового государственного финансирования R&D в области интерпретируемости и выравнивания (alignment) ИИ [42:46]. Он считает, что соотношение ресурсов, направленных на развитие возможностей ИИ и на его безопасность, в данный момент катастрофически перекошено [46:07].

## 💰 Критика бизнес-моделей: Чат-боты против науки
[[JUMP:59:10]]

По мнению **Эзры Кляйна**, одной из главных проблем является то, что тип разрабатываемого ИИ диктуется текущими бизнес-моделями венчурного капитала [59:26].

*   Чат-боты получают больше всего инвестиций, потому что у них понятный путь к прибыли через рекламу или подписки [59:41].
*   Однако чат-боты по своей сути являются «машинами для генерации болтовни» (bullshit machines), которые создают контент без привязки к истине [1:08:27]. Это может привести к заполнению интернета «мусорным» контентом и затруднить коллективное мышление человечества [1:09:20].
*   В то же время такие системы, как **AlphaFold** от DeepMind, решающие фундаментальные научные задачи (например, фолдинг белков), имеют меньше шансов на массовое финансирование [1:09:46]. 

Кляйн предлагает государству вводить субсидии или премии за решение общественно значимых задач с помощью ИИ, чтобы сместить фокус с манипулятивных чат-ботов на научный прогресс [1:10:29].

## 👨‍👩‍👧‍👦 О воспитании детей и саморегуляции
[[JUMP:1:11:22]]

В завершение беседы **Эзра Кляйн** делится личным опытом отцовства. Он дает два главных совета будущим родителям:

1.  **Дети видят то, что вы делаете, а не то, что вы говорите.** Важно, чтобы ребенок в первую очередь видел, что вы рады его видеть, а не ваши попытки «исправить» его внешний вид или поведение [1:12:19].
2.  **Забота о себе — это 50% воспитания ребенка.** Кляйн признается, что 75% его качества как родителя зависит от того, сколько он спал [1:13:14]. Недостаток сна делает его раздражительным, и он считает важным «воспитывать самого себя» (медитировать, хорошо питаться), чтобы оставаться присутствующим и любящим родителем [1:13:57].