В интервью для подкаста 80,000 Hours сооснователь компаний DeepMind и Inflection AI Мустафа Сулейман подробно обсуждает экзистенциальные, социальные и геополитические риски, связанные с развитием искусственного интеллекта нового поколения. В центре дискуссии — ключевые тезисы его новой книги «Грядущая волна» (The Coming Wave), описывающей неизбежную дилемму между потерей контроля над технологиями и рисками авторитаризма при их жестком сдерживании. Автор анализирует проблемы регулирования ИИ-лабораторий Вашингтоном, делится уникальным опытом работы внутри Google и объясняет, почему открытый исходный код будущих моделей может дестабилизировать баланс сил в мире.
💸 Современный тест Тьюринга и границы автономии ИИ 2:53
Мустафа Сулейман в своих публикациях и книге предлагает концепцию «современного теста Тьюринга», который оценивает не способность ИИ имитировать человеческую речь, а его практические возможности в реальном мире. По мнению гостя, в течение ближайших двух лет вполне вероятно появление больших языковых моделей (LLM), способных автономно управлять онлайн-бизнесом и превратить стартовый капитал в 100 000 долларов в один миллион долларов за несколько месяцев. При этом Сулейман делает важную оговорку: такой процесс все еще будет требовать минимального участия человека для решения юридических и бюрократических задач, таких как регистрация компании или открытие банковского счета. Сам ИИ сможет самостоятельно придумывать ценный продукт, генерировать контент, вести переговоры с производителями по цене и организовывать поставки через дропшиппинг.
Ведущий подкаста Роб указывает на кажущееся противоречие в заявлениях Сулеймана: предсказание столь скорого прорыва выглядит тревожно, однако в других интервью предприниматель утверждал, что жесткое замедление разработки ИИ может не потребоваться в ближайшие десять лет. Отвечая на это замечание, Мустафа Сулейман призывает четко разделять две принципиально разные угрозы:
- Злоупотребление (misuse): краткосрочный риск, когда люди с плохими намерениями используют ИИ в качестве управляемого инструмента для причинения масштабного вреда при поддержке человека.
- Автономия (autonomy): долгосрочный риск выхода технологии из-под контроля, когда модель начинает самостоятельно ставить цели и обучаться без участия создателей.
По мнению Сулеймана, на данный момент нет никаких свидетельств того, что индустрия находится на траектории неуправляемого интеллектуального взрыва или рекурсивного самосовершенствования моделей без контроля человека. Свои прогнозы о десятилетнем горизонте безопасности гость называет среднесрочной оценкой, признавая при этом наличие нетривиальной вероятности экзистенциальной угрозы на этом отрезке времени. Вспоминая конференцию Winter Intelligence в Оксфорде в 2011 году, где участники сообщества безопасности ИИ впервые обменивались записками со своими прогнозами сроков создания AGI, Сулейман отмечает давнюю одержимость ИТ-сообщества таймлайнами, подчеркивая, что люди традиционно плохо справляются с подобными оценками. В качестве практического шага к снижению рисков, компания Inflection AI сознательно отказалась от исследований в области рекурсивного самосовершенствования и автономии ИИ, сосредоточившись исключительно на создании персонального ИИ-помощника Pi, а не универсального сверхинтеллекта.
🔓 Дилемма открытого исходного кода и «наивный опенсорс» 10:57
Важной темой дискуссии стало решение корпорации Meta опубликовать веса своих моделей семейства Llama, что вызвало обеспокоенность американских законодателей. Мустафа Сулейман отстаивает позицию, которую он называет критикой «наивного открытого исходного кода» в долгосрочной перспективе. По его мнению, если индустрия продолжит открывать абсолютно все последующие поколения передовых моделей, это приведет к быстрой пролиферации сил, сопоставимых по масштабу государственным возможностям, в руки небольших групп или отдельных лиц. Сулейман проводит аналогию с социальными сетями, которые дали любому человеку медийную власть уровня крупной газеты, но отмечает, что в случае с ИИ речь идет о переходе от свободы слова к свободе действий через использование API.
Комментируя технические аспекты, гость не соглашается с утверждением, что защиту и этические ограничения модели после публикации ее весов можно снять тривиальным образом; по словам Сулеймана, это сложная задача, требующая высокой квалификации и опыта в обучении с подкреплением. Тем не менее, реальную опасность, по мнению гостя, представляет способность будущих моделей выступать в роли индивидуального тренера или коуча при создании химического или биологического оружия, подсказывая злоумышленникам обходные пути при возникновении лабораторных трудностей. Сулейман признает, что публикация Llama 2 не увеличила экзистенциальные риски планеты материально, поскольку большая часть этих опасных знаний уже доступна в открытом вебе, а текущие модели способны выполнять лишь роль мелких мошенников. Однако он считает критически важным начать вводить ограничения на опенсорс уже сейчас, чтобы предотвратить появление бесконтрольных инструментов через 5–20 лет, несмотря на резкое недовольство открытого ИТ-сообщества.
🇨🇳 Геополитическое противостояние и чиповая война 19:00
Мустафа Сулейман отмечает тесную связь вопросов безопасности ИИ с национальной безопасностью ведущих держав. По словам гостя, его личные дискуссии с чиновниками в США и Великобритании демонстрируют жесткий сдвиг в восприятии Китая: если раньше Пекин называли «стратегическим соперником», что подразумевало возможность мирного сосуществования и конкуренции, то теперь его воспринимают как фундаментальную угрозу. Введение США экспортных ограничений на полупроводники Сулейман прямо называет объявлением экономической войны.
Анализируя эффективность этих мер, гость приводит конкретные технологические оценки:
- Модифицированные чипы NVIDIA H800, поставляемые в Китай в обход ограничений, замедляют процесс обучения ИИ в китайских компаниях примерно на 30–50% из-за особенностей их каскадного объединения.
- Китайские компании компенсируют это падение производительности закупкой большего объема доступных микросхем.
- Следующее поколение передовых американских чипов будет полностью недоступно для КНР, что станет серьезным препятствием для технологического прогресса страны, поскольку создать аналогичную микроэлектронику с нуля крайне сложно.
По прогнозам Сулеймана, эти действия Вашингтона не останутся без ответа — Пекин уже начал вводить зеркальные санкции на поставку ключевого сырья, и эскалация этого конфликта в будущем продолжится.
🛑 Крах этического совета Google и проблема инклюзивности 21:08
В своей книге Сулейман подробно описывает собственный десятилетний опыт попыток внедрения внешнего надзора и этических стандартов в структуру управления DeepMind и Google, признавая, что эти усилия во многом зашли в тупик. Предприниматель заявляет, что традиционная корпоративная бюрократия и нежелание власти делиться полномочиями усложняют внешний контроль, однако главной причиной краха независимого этического совета Google стала так называемая «культура отмены» (cancel culture).
История создания совета, по словам Сулеймана, обернулась трагедией для долгосрочной идеи надзора. В состав органа из девяти независимых экспертов была включена Кей Коулз Джеймс, президент консервативного фонда Heritage Foundation. Из-за ее прошлых жестких высказываний против трансгендеров и гомосексуалов в Twitter и академической среде поднялась масштабная волна протестов с требованиями распустить совет. В результате давления трое участников покинули совет, затем ушла сама Джеймс, и проект закрылся в течение недели после анонса, заставив руководство Alphabet отказаться от идеи внешнего аудита ИИ.
Сулейман видит в этом глубокий парадокс современной технологической индустрии: сотрудники ИИ-лабораторий представляют собой крайне узкую прослойку населения со специфическими прогрессивными взглядами, но решения, которые они принимают, имеют глобальное историческое значение. Попытка привлечь к управлению широкие слои общества неизбежно наталкивается на ценностный конфликт. В качестве примера гость приводит статистику, согласно которой:
- Около 40% населения США считают, что борьба за права трансгендеров продвигается слишком быстро.
- Порядка 30% американцев выступают за запрет абортов.
- Более 30% граждан США не поддерживают однополые браки.
На глобальном уровне, включая Глобальный Юг, эти взгляды еще более консервативны. По мнению Сулеймана, ИТ-индустрия должна научиться садиться за один стол и вести диалог с людьми, чьи ценности ей категорически не близки, будь то американские консерваторы, правительство Китая или движение Талибан, иначе мирный прогресс и взаимное регулирование станут невозможными. Ранее команда DeepMind даже пыталась юридически выделиться из Alphabet в структуру «компании глобального интереса» (global interest company), чтобы тратить доходы на научные и социальные миссии, но этот эксперимент был заблокирован материнской компанией после скандала с этическим советом.
🔍 Альтернативные механизмы контроля и коммерческий аудит 27:55
Обсуждая реалистичные шаги по привлечению общества к контролю за ИИ, Сулейман скептически оценивает идею предоставления академическим группам и аспирантам полного доступа к моделям для независимого тестирования (red teaming). По мнению гостя, открытый рынок труда приведет к тому, что исследователи, получившие уникальные инсайты, через пару лет просто перейдут на работу к коммерческим конкурентам, что делает такую модель неустойчивой для бизнеса.
Вместо этого Сулейман предлагает развивать институт доверенных коммерческих аудиторских компаний, аналогичных структурам «Большой четверки» в финансах. Такие организации обладают проверенным персоналом, не допускают утечек коммерческой тайны и могут давать авторитетные публичные заключения о соответствии ИИ установленным стандартам безопасности. Вспоминая сотрудничество DeepMind с известным философом и представителем движения эффективного альтруизма Тоби Ордом, Сулейман называет его выдающимся человеком, но подчеркивает, что присутствие одного «монаха от эффективного альтруизма» не может служить полноценным и практическим механизмом системного надзора за технологиями.
🧠 Отвращение к пессимизму в Кремниевой долине 30:28
Мустафа Сулейман признается, что на протяжении всей карьеры сталкивался с феноменом «отвращения к пессимизму» (pessimism aversion) в технологической среде, из-за чего в Кремниевой долине его порой иронично называют термином «decel» (от decelerationist — сторонник замедления прогресса). Предприниматель считает деление на оптимистов и пессимистов ложной и упрощенной парадигмой, заявляя, что он лишь беспристрастно анализирует факты для их публичного обсуждения.
По опыту Сулеймана, наиболее трезвую позицию в отношении ИИ занимают представители ведомств национальной безопасности. Наиболее эффективной стратегией убеждения скептиков гость называет отказ от спекулятивных разговоров о «сверхинтеллекте» и гипотетических сценариях вроде «максимизатора скрепок», которые лишь отпугивают политиков своей оторванностью от реальности. Фокусироваться необходимо на осязаемых угрозах злоупотребления технологиями со стороны негосударственных субъектов и рисках для стабильности институтов национального государства. Внутри самих ИИ-лабораторий сотрудники придерживаются разных взглядов, однако специалисты по безопасности соглашаются, что единственный способ эффективно снижать риски — это находиться на переднем крае разработки (coalface), поскольку без работы с новейшими мощностями исследователи всегда будут отставать от коммерческого сектора на несколько лет.
📊 Иллюзия стоимости обучения и оптимизация моделей 37:36
Мустафа Сулейман указывает на распространенные математические ошибки в оценках стоимости обучения будущих систем ИИ. По его словам, звучащие в прессе заявления о скором проведении единичного тренировочного запуска модели стоимостью 10 миллиардов долларов не соответствуют действительности; до таких масштабов индустрии нужно развиваться еще как минимум пять лет. Сулейман объясняет это действием технологического прогресса:
- Каждое новое поколение микросхем обеспечивает увеличение вычислительной мощности (FLOPS) на один потраченный доллар примерно в 2–3 раза.
- Происходит стремительное уменьшение физических размеров и рост эффективности моделей. Например, возможности модели GPT-3, которая летом 2020 года требовала 175 миллиардов параметров, сегодня воспроизводятся на моделях размером всего в 1,5–2 миллиарда параметров.
Это существенно снижает затраты на обслуживание и серверные мощности (serving compute), позволяя огромному количеству разработчиков дешево экспериментировать с технологией, и этот тренд продолжится в ближайшие 3–5 лет. При этом Сулейман выделяет позитивный аспект масштабирования: способность моделей к этическому выравниванию (alignment) является эмерджентным свойством — чем крупнее становится ИИ, тем точнее и тоньше он поддается настройке и тем меньше в нем проявляется токсичность или предвзятость.
⚖️ Парадокс Inflection AI и три обязательных закона регулирования 40:09
Ведущий Роб озвучивает критический аргумент слушателей: Сулейман заявляет о необходимости «покупать время» и замедлять опасные исследования, но при этом его собственная компания Inflection AI строит один из крупнейших суперкомпьютеров в мире, планируя в течение 18 месяцев провести обучение модели, превосходящей GPT-4 по объему вычислений в 10–100 раз. Слушатели предполагают, что действия Сулеймана ускоряют опасную гонку вооружений.
Мустафа Сулейман категорически не согласен с этой критикой и выдвигает несколько контраргументов:
- Главная угроза государству заключается не в самом существовании крупных централизованных ИИ-моделей, а в неконтролируемом распространении этой силы среди миллионов пользователей.
- Рыночные и геополитические стимулы в глобальной экосистеме настолько сильны, что добровольный уход Inflection AI с рынка никак не снизит темпы мировой разработки.
- Активное участие в бизнесе позволяет компании находиться за столом переговоров в Белом доме, подписывать добровольные обязательства по безопасности и напрямую формировать государственную политику.
Сулейман подчеркивает, что их чат-бот Pi целенаправленно лишен универсальности — он не умеет писать программный код и жестко защищен от любых хакерских промт-взломов и джейлбрейков благодаря приоритету безопасности.
Для долгосрочного сдерживания рисков Сулейман предлагает законодательно утвердить три обязательных требования для всех крупных лабораторий в США и Великобритании:
- Обязательный аудит масштаба (Scale audits): прозрачное декларирование объемов вычислительной мощности и параметров каждой новой модели. Сулейман призывает Google DeepMind открыто назвать точное количество FLOPS, затраченных на обучение их новой системы Gemini.
- Запрет опасных компетенций: создание жестких фильтров, исключающих возможность ИИ обучать пользователей созданию биологического, ядерного или химического оружия и бомб.
- Исключение ИИ из политических процессов (Electioneering): полный законодательный запрет на использование ИИ в предвыборных кампаниях. Крупные облачные провайдеры (Amazon, Microsoft, Google) должны внести этот пункт в свои условия обслуживания (Terms of Service), сделав генерацию политических материалов табуированной.
Комментируя предстоящий саммит по безопасности ИИ в Великобритании, Сулейман призывает участников перевести добровольные обязательства ИТ-гигантов в плоскость реальных законов и создать культуру конфиденциального обмена данными об уязвимостях моделей по аналогии с 60-дневным протоколом раскрытия zero-day угроз в кибербезопасности. В завершение беседы гость подчеркнул, что несмотря на его критику антропоморфных терминов вроде «обмана» со стороны ИИ, проблема координации и выравнивания систем ИИ (misalignment) остается критически важной и требует десятикратного увеличения числа ученых, работающих над ее решением.
