В этом выпуске подкаста 80,000 Hours ведущий Роб Виблин обсуждает с известным журналистом и политическим обозревателем Эзрой Кляйном перспективы регулирования искусственного интеллекта. Основное внимание уделено тому, как идеи о «экзистенциальном риске» ИИ воспринимаются в Вашингтоне, какие регуляторные механизмы (от юридической ответственности до контроля вычислительных мощностей) могут реально сработать и почему для предотвращения катастроф необходимо строить долгосрочные отношения с политиками уже сегодня.
🤝 Конфликт сообществ: этика против экзистенциального риска 2:46
В индустрии ИИ наблюдается явное напряжение между двумя группами: теми, кто сосредоточен на текущем вреде (предвзятость алгоритмов, дезинформация), и теми, кто обеспокоен долгосрочными рисками (выживание человечества) .
По мнению Эзры Кляйна, это не просто спор о приоритетах, а фундаментальное разногласие в определении того, с чем именно мы имеем дело . Основные тезисы этой дискуссии:
- Критики со стороны «этики ИИ» утверждают, что адепты «экзистенциального риска», сознательно или нет, участвуют в системе хайпа, которая привлекает огромные деньги к нескольким крупным компаниям .
- Сторонники теории риска (longtermists) считают, что проблема алгоритмической предвзятости ничтожна по сравнению с угрозой полного уничтожения человечества .
- Эзра Кляйн полагает, что реальное сближение этих групп произойдет только в момент кризиса. Когда произойдет событие, требующее законодательного решения (например, крупный сбой инфраструктуры или массовая гибель людей), участникам дискуссии придется искать общие точки соприкосновения вместо споров в Twitter .
📉 Стратегия «Пунктирного равновесия» в политике 7:11
Эзра Кляйн объясняет, что законодательные процессы в США часто следуют модели «пунктирного равновесия»: долгие периоды бездействия сменяются резкими переменами в моменты кризиса .
Для того чтобы повлиять на ситуацию, идеи должны быть подготовлены заранее. По мнению гостя:
- Идеи должны лежать «не в ящике стола, а на полке», чтобы в момент кризиса политики могли их легко достать .
- Источник идей должен быть заслуживающим доверия. Кляйн отмечает, что серьезные законопроекты (например, закон о чипах — CHIPS Act) часто вырастают из аналитических записок и книг, которые почти никто не читал, но которые изучили пять ключевых сотрудников Конгресса .
- Необходимо выстраивать личные отношения с политиками. Законотворчество — это глубоко человеческий и реляционный процесс, где мнение одного аналитика может определить судьбу целой отрасли только потому, что глава подкомитета знает его лично .
🛑 Как эффективно замедлить развитие ИИ 9:42
Гость скептически относится к идее «просто сделать паузу». С его точки зрения, призыв замедлиться — это слабая политическая позиция, которая вряд ли победит на выборах .
Вместо этого Эзра Кляйн предлагает «замедляться через качество»:
- Требование интерпретируемости: Конгресс мог бы законодательно запретить выпуск систем ИИ до тех пор, пока компании не смогут объяснить, как именно система принимает решения . Поскольку разработчики пока сами не понимают внутреннюю логику моделей, это требование естественным образом затормозило бы отрасль .
- Юридическая ответственность (Liability): Сегодня компании соцсетей имеют иммунитет к ответственности за контент пользователей. Эзра Кляйн считает, что для ИИ правила должны быть другими . Если OpenAI или Google выпускают модель, которая помогает создать биологическое оружие, они должны нести ответственность за небрежность при тестировании .
- Аналогия с бытовой техникой: Кляйн сравнивает ИИ с микроволновкой: если вы ударите кого-то микроволновкой — производитель не виноват, но если она взорвется при нормальном использовании — ответственность несет компания . В случае с ИИ даже возможность «джейлбрейка» (взлома ограничений модели) должна считаться дефектом проектирования .
🏢 Институциональный вакуум в Вашингтоне 22:17
Эзра Кляйн выражает обеспокоенность тем, что между экспертами по рискам ИИ и реальными политиками в округе Колумбия существует огромная дистанция .
- Когда президент Байден хочет обсудить ИИ, он говорит с Сэмом Альтманом (главой OpenAI), потому что альтернативных авторитетных источников экспертизы в правительстве почти нет .
- Многие люди, всерьез обеспокоенные рисками ИИ, предпочитают работать внутри самих лабораторий ИИ в Сан-Франциско, вместо того чтобы ехать в Вашингтон и заниматься «скучной» регуляторной работой .
- Гость называет «социологическим парадоксом» ситуацию, когда люди, искренне боящиеся гибели человечества от ИИ, продолжают ускорять его развитие, работая в коммерческих компаниях из-за интереса к технологиям или ради престижа .
В качестве примера успешной работы он приводит организацию CSET (Центр безопасности и новых технологий при Джорджтаунском университете), чью экспертизу использует лидер большинства в Сенате Чак Шумер .
🧪 Альтернативные модели: МАГАТЭ для ИИ и «Проект Манхэттен» по безопасности 31:26
Собеседники обсуждают несколько глобальных подходов к контролю ИИ:
- Модель МАГАТЭ: Создание международного агентства для инспекции вычислительных центров . Кляйн считает это труднореализуемым, так как ИИ — это в первую очередь потребительская технология с огромным коммерческим потенциалом, в отличие от урана, который сложно добыть и который имеет почти исключительно военное назначение .
- Лицензирование вычислительных мощностей (Compute Governance): Ограничение доступа к чипам для проектов без правительственной лицензии . Это может привести к созданию государственных монополий, что вызовет сопротивление политиков .
- «Проект Манхэттен» по безопасности: Кляйн поддерживает идею массового государственного финансирования R&D в области интерпретируемости и выравнивания (alignment) ИИ . Он считает, что соотношение ресурсов, направленных на развитие возможностей ИИ и на его безопасность, в данный момент катастрофически перекошено .
💰 Критика бизнес-моделей: Чат-боты против науки 59:10
По мнению Эзры Кляйна, одной из главных проблем является то, что тип разрабатываемого ИИ диктуется текущими бизнес-моделями венчурного капитала .
- Чат-боты получают больше всего инвестиций, потому что у них понятный путь к прибыли через рекламу или подписки .
- Однако чат-боты по своей сути являются «машинами для генерации болтовни» (bullshit machines), которые создают контент без привязки к истине . Это может привести к заполнению интернета «мусорным» контентом и затруднить коллективное мышление человечества .
- В то же время такие системы, как AlphaFold от DeepMind, решающие фундаментальные научные задачи (например, фолдинг белков), имеют меньше шансов на массовое финансирование .
Кляйн предлагает государству вводить субсидии или премии за решение общественно значимых задач с помощью ИИ, чтобы сместить фокус с манипулятивных чат-ботов на научный прогресс .
👨👩👧👦 О воспитании детей и саморегуляции 1:11:22
В завершение беседы Эзра Кляйн делится личным опытом отцовства. Он дает два главных совета будущим родителям:
- Дети видят то, что вы делаете, а не то, что вы говорите. Важно, чтобы ребенок в первую очередь видел, что вы рады его видеть, а не ваши попытки «исправить» его внешний вид или поведение .
- Забота о себе — это 50% воспитания ребенка. Кляйн признается, что 75% его качества как родителя зависит от того, сколько он спал . Недостаток сна делает его раздражительным, и он считает важным «воспитывать самого себя» (медитировать, хорошо питаться), чтобы оставаться присутствующим и любящим родителем .
