Хелен Тонер: «Попытки изолировать ИИ от внешнего мира обречены на провал»

Как именно новые технологии изменят баланс сил в мире и почему классическая риторика «гонки вооружений» вредит национальной безопасности? В интервью для подкаста 80,000 Hours эксперт по технологической политике Хелен Тонер подробно анализирует геополитическое противостояние США и Китая в сфере искусственного интеллекта. Она объясняет, почему традиционные методы сдерживания не работают в мире открытого программного кода и как американская иммиграционная система может стать главным фактором победы в борьбе за глобальные таланты.

🏛️ Создание CSET: новая аналитическая база в Вашингтоне 2:05

В Вашингтоне начал работу Центр безопасности и перспективных технологий (Center for Security and Emerging Technology, CSET) при Джорджтаунском университете . Как отмечает ведущий подкаста Роб Уиблин, создание центра стало возможным благодаря гранту в размере 55 миллионов долларов от фонда Open Philanthropy Project . На момент запуска это крупнейшее финансовое вливание со стороны фонда.

Директором по стратегии нового центра стала Хелен Тонер, которая ранее занимала пост старшего аналитика в Open Philanthropy Project и консультировала политиков по вопросам стратегии развития ИИ . Руководит CSET Джейсон Матени, бывший директор IARPA (Агентства передовых исследований в сфере разведки США) .

Основная цель CSET — предоставление качественной аналитики и рекомендаций на стыке новых технологий и национальной безопасности . По словам Хелен Тонер, в первые два года организация планирует сфокусироваться исключительно на теме искусственного интеллекта, так как эта технология уже начинает перестраивать принципы работы военных ведомств, разведки и госаппарата . По мнению Тонер, качество текущего анализа в Вашингтоне по этой теме оставляет желать лучшего, и CSET призван закрыть этот пробел путем привлечения междисциплинарных специалистов .

🇨🇳 Выступление в Конгрессе и специфика китайской угрозы 4:03

Незадолго до интервью Хелен Тонер дала показания на слушаниях Комиссии по экономике и безопасности США и Китая (US-China Economic and Security Review Commission) . Тема слушаний была сформулирована как «Технологии, торговля и военно-гражданское слияние: стремление Китая к лидерству в ИИ, новых материалах и новой энергетике» .

Тонер делится своими впечатлениями от работы с комиссией:

• Слушания проходили в зале заседаний Сената США, что создавало довольно напряженную и строгую атмосферу .
• Вопросы конгрессменов и членов комиссии оказались неожиданно глубокими и профессиональными, что указывает на отличную подготовку их аппарата .
• Комиссия изначально создавалась для оценки рисков от экономической интеграции с Китаем (в период вступления КНР во Всемирную торговую организацию) .
• Основной фокус вопросов был направлен на потенциальные ограничения, регуляторные меры и риски для безопасности США .

🚫 Почему ИИ — это не ракета: критика концепции «закрытых технологий» 7:09

Главный тезис, который Хелен Тонер пыталась донести до американских законодателей, заключается в том, что искусственный интеллект нельзя рассматривать как стандартный оборонный объект .

В Вашингтоне привыкли мыслить категориями холодной войны и конкретных физических продуктов — ракет, танков или истребителей, которые можно физически запереть внутри страны или запретить к экспорту . ИИ работает совершенно иначе по нескольким причинам:

1. Универсальность технологии (General Purpose Technology). ИИ — это не конкретная деталь («виджет»), а сквозная технология, похожая на программное обеспечение в целом или на продвинутые методы статистики .
2. Открытая научная среда. Практически все фундаментальные открытия в области машинного обучения публикуются в открытом доступе на серверах препринтов (например, arXiv) и доступны любому специалисту в мире .
3. Использование платформ с открытым исходным кодом. Ведущие коммерческие гиганты (такие как Google или Meta) добровольно выкладывают свои библиотеки для машинного обучения (TensorFlow, PyTorch) в открытый доступ .

Хелен Тонер ссылается на метафору профессора Райана Кало из Вашингтонского университета: чтобы проверить адекватность любого политического заявления об ИИ, нужно заменить в нем слово «ИИ» на «продвинутая статистика» . Например, фраза «мы должны сохранить контроль над Т-критерием Стьюдента внутри границ США» наглядно демонстрирует абсурдность попыток засекретить математические методы .

Ведущий Роб Уиблин приводит исторический пример времен Второй мировой войны, когда союзники использовали статистический анализ серийных номеров на подбитых немецких танках для оценки масштабов их производства . Это было важным стратегическим преимуществом, но саму статистику как науку скрыть от противника в долгосрочной перспективе было невозможно .

По мнению Тонер, попытка жестко ограничить распространение знаний об ИИ внутри США приведет к обратным результатам . Введение строгих мер «условного экспорта» (deemed export — ограничение на передачу информации иностранным специалистам внутри американских лабораторий) и визовых барьеров спровоцирует отток лучших умов в Канаду, Великобританию и другие страны .

⚡ Электричество против ядерного оружия: новая аналогия для ИИ 18:20

В дискуссиях о безопасности ИИ часто используется аналогия с ядерным оружием и гонкой вооружений времен холодной войны. Тонер считает эту аналогию крайне неудачной . Ядерное оружие — это дискретный и понятный объект: у государства либо есть технология создания бомбы, либо ее нет . Развитие ИИ больше напоминает постепенную модернизацию программного обеспечения во всех сферах жизни .

Гораздо более точной аналогией, по мнению Тонер, является электрификация в начале XX века . Появление электричества не просто привело к созданию «электрического оружия», оно полностью изменило структуру армии:

• Трансформировало системы связи между командованием и подразделениями ;
• Перестроило логистику, транспорт и снабжение ;
• Изменило принципы планирования военных операций .

Точно так же ИИ будет постепенно внедряться во все процессы. Хелен Тонер утверждает, что вместо паники по поводу «автономных роботов-убийц» Пентагону следует сосредоточиться на модернизации своей цифровой инфраструктуры, переходе на облачные технологии и систематизации сбора данных .

Собеседники отмечают, что внедрение ИИ в оборонную сферу будет идти медленно из-за громоздкой системы госзакупок и высоких требований к надежности . В качестве примера технологической инертности они упоминают тот факт, что в некоторых американских системах управления ядерным оружием до недавнего времени использовались восьмидюймовые дискеты . Первые реальные внедрения ИИ произойдут в бэк-офисах (HR, бухгалтерия, логистика), а не на поле боя .

Первой по-настоящему опасной зоной применения ИИ в сфере безопасности Хелен Тонер называет кибербезопасность . В отличие от робототехники, где проведение тестов ограничено физическим миром, в софтверной среде ИИ-агенты могут обучаться на симуляторах в разы быстрее, находя уязвимости и маскируя свои следы . В качестве примера Тонер приводит соревнование Cyber Grand Challenge, организованное DARPA в 2016 году, где автоматизированные системы успешно взламывали и защищали компьютерные сети, хотя тогда они еще не использовали глубокое машинное обучение .

📊 «Нефть XXI века»: мифы о превосходстве Китая в сфере данных 30:58

Популярный в медиа тезис «данные — это новая нефть» Тонер считает глубоко ошибочным . Нефть представляет собой универсальный ресурс, пригодный для любого двигателя, тогда как данные всегда специфичны для конкретной задачи .

Инвестор Кай-Фу Ли популяризировал мнение, что если данные — это нефть, то Китай является Саудовской Аравией в этой области из-за огромного населения и отсутствия строгих законов о конфиденциальности . Хелен Тонер оспаривает этот вывод:

• Огромные массивы потребительских данных (переписки в мессенджерах, история покупок, финансовые транзакции) помогают китайским компаниям улучшать алгоритмы рекомендаций для ритейла .
• Однако эти данные практически бесполезны для решения задач национальной безопасности и оборонного сектора .
• В таких стратегических областях, как анализ спутниковых снимков или управление беспилотными аппаратами, США обладают колоссальным преимуществом в качестве и объеме накопленной информации .

Развитие методов переноса обучения (transfer learning), когда модель предобучается на одном типе данных, а затем быстро донастраивается на малом объеме специфических данных, также снижает ценность обладания гигантскими сырыми массивами информации .

🎓 Глобальная битва за мозги: иммиграционная политика как фактор безопасности 34:29

Главное стратегическое преимущество США в технологическом противостоянии — это способность привлекать лучшие умы со всей планеты . Тонер демонстрирует это на примере статистики миграции изобретателей (обладателей патентов):

• Китай является крупнейшим в мире нетто-экспортером талантов: страну ежегодно покидает около 50 тысяч специалистов .
• США выступают абсолютным мировым лидером по импорту мозгов: чистый приток составляет около 190 тысяч специалистов в год .
• Ближайшие конкуренты США по импорту талантов не достигают и десятой доли этих показателей.

Тонер рассказывает, что во время своего проживания в Пекине она общалась со студентами престижного Университета Цинхуа . Для лучших китайских выпускников стажировка и последующая работа в американских технологических компаниях или лабораториях остаются пределом мечтаний .

По мнению Тонер, США могут проиграть технологическую гонку только в том случае, если сами закроют свои границы для иностранных ученых . Она соглашается с критикой экономиста Тайлера Коэна, который утверждает, что нежелание Вашингтона реформировать иммиграционное законодательство ради привлечения ИИ-специалистов доказывает, что правительство не относится к этой угрозе достаточно серьезно .

Главная проблема здесь лежит в плоскости внутренней политики США: любая попытка точечно упростить выдачу виз H-1B или грин-карт для ученых мгновенно увязает в дебатах о комплексной иммиграционной реформе . В связи с этим CSET планирует искать регуляторные лазейки и возможности для изменения визовой политики через указы президента (executive actions) в обход Конгресса .

Тонер также комментирует прецедент с моделью GPT-2 от компании OpenAI, которая в 2019 году отказалась публиковать полную версию своей текстовой нейросети из-за опасений ее вредоносного использования . Несмотря на критику со стороны академического сообщества, обвинявшего OpenAI в самопиаре, Тонер считает это важным шагом для начала общественной дискуссии о границах открытости в науке . При этом она предостерегает правительство от попыток насильственного введения цензуры на публикации, так как это мгновенно парализует американскую научную школу .

👁️ Цифровой авторитаризм: реальность Синьцзяна и мифы о социальном кредите 47:34

Хелен Тонер была одним из 26 соавторов влиятельного доклада «Вредоносное использование искусственного интеллекта» (Malicious Use of Artificial Intelligence), опубликованного в начале 2018 года . Два года спустя она констатирует, что авторы во многом оказались правы. Например, они предсказали появление «дипфейков» для политических манипуляций, хотя реальная жизнь преподнесла сюрприз: первыми массовыми жертвами технологии стали женщины в порнографии .

Однако главным упущением доклада Тонер считает то, что авторы пытались оперировать рамками классической киберпреступности, полностью проигнорировав угрозу государственного цифрового авторитаризма .

Особое беспокойство эксперта вызывает ситуация в провинции Синьцзян, где китайские власти построили масштабную систему слежки и контроля за уйгурским мусульманским населением с использованием распознавания лиц и анализа поведения .

При этом Тонер призывает разделять реальные инструменты контроля и мифы:

• Социальный кредит (Social Credit System). Западные СМИ часто рисуют апокалиптическую картину единого цифрового рейтинга граждан, который управляет их жизнями . В реальности эта система фрагментирована, находится на стадии тестирования отдельных прототипов и играет далеко не главную роль .
• Реальные инструменты контроля. Намного эффективнее работают физические лагеря интернирования, тотальная цензура в WeChat (где сообщения неугодного содержания незаметно удаляются для получателя) и «Великий китайский файрвол» .

Тонер сомневается, что распространение китайских технологий слежки за рубеж несет прямую угрозу национальной безопасности США . По ее мнению, Вашингтону следует реагировать на эти события не с позиции военной угрозы, а с точки зрения защиты прав человека . В качестве позитивного примера она приводит решение властей Сан-Франциско ввести мораторий на использование систем распознавания лиц полицией, отметив, что демократические общества должны аккуратно подходить к балансу между безопасностью и гражданскими свободами .

🔍 Внутри CSET: анализ данных и подготовка кадров 51:33

Создание CSET было обусловлено дефицитом кадров, способных переводить технический язык ИИ-разработчиков на язык понятных политических решений для руководства Пентагона или Госдепартамента . Вторая ключевая задача центра — подготовка нового поколения таких междисциплинарных специалистов .

Штат CSET разделен на две основные группы:

1. Аналитическая команда (Analysis Team). Включает политологов, экономистов, юристов и историков, которые ведут долгосрочные исследовательские проекты .
2. Команда по анализу данных (Data Science Team). Состоит из технических специалистов и дата-сайентистов .

Гипотеза CSET состоит в том, что огромный массив информации о развитии технологий содержится в открытых источниках (публикации, патенты, резюме специалистов, вакансии), но разведывательное сообщество часто упускает эти данные из виду . Задача дата-сайентистов — находить скрытые тренды в этих данных и передавать их аналитикам .

Среди первых практических шагов CSET:

• Подача рекомендаций в Национальный институт стандартов и технологий США (NIST) с предложением создать национальный тестовый полигон для проверки безопасности ИИ-систем ;
• Разработка стандартов надежности ИИ, которые впоследствии могут быть приняты другими странами мира .

💼 Карьера в сфере технологической политики и особенности изучения Китая 1:10:17

Хелен Тонер подробно рассказывает о своем карьерном пути и дает советы слушателям. Сама она провела девять месяцев в Пекине, изучая китайскую ИИ-экосистему в качестве исследователя от Оксфордского института управления ИИ .

Тонер признается, что переезд в Вашингтон после Кремниевой долины стал для нее профессиональным облегчением. В Калифорнии культивируется образ «21-летнего гениального основателя стартапа», тогда как в Вашингтоне возраст и опыт являются преимуществом . Для того чтобы вас воспринимали серьезно, необходимо сочетать техническое понимание предмета с пониманием структуры госаппарата .

Тем, кто хочет строить карьеру в сфере ИИ-политики, Тонер рекомендует следующий план действий:

1. Освоить техническую базу. Пройти базовые курсы по машинному обучению (например, на Coursera), чтобы понимать основы работы алгоритмов и говорить с разработчиками на одном языке .
2. Изучить контекст. Глубоко погрузиться в военную историю, теорию международных отношений и принципы национальной безопасности .
3. Получить профильное образование. Поступить в магистратуру или аспирантуру. Среди ведущих программ в США Тонер выделяет программу исследований безопасности в Джорджтаунском университете (SSP) и программу международных отношений в Университете Джонса Хопкинса (SAIS) .
4. Для обладателей STEM-степеней. Использовать специальные программы интеграции ученых в политическую среду, такие как AAAS Fellowship или TechCongress .

Отвечая на вопросы об изучении Китая, Тонер советует не ограничиваться только кабинетной работой, а обязательно поехать в страну . Сама она учила китайский язык в Пекине по 20 часов в неделю, имея за плечами двухлетнюю самостоятельную подготовку . Она предупреждает, что ехать в Китай без базовых знаний языка бессмысленно — вы проведете время, изучая слова вроде «привет» и «пока», вместо реального погружения в среду . Простым и дешевым способом получить студенческую визу Тонер называет языковые курсы при китайских вузах (около 2000 долларов за семестр) .

Также Тонер обращает внимание на обратную сторону медали: частые поездки в Китай и наличие близких контактов с китайскими гражданами могут существенно осложнить получение допуска к секретной информации (security clearance) в США . Для минимизации рисков она рекомендует сохранять дистанцию и указывать в анкетах, что поездки носили исключительно образовательный характер .

🌐 Новый международный порядок: торговая война и судьба Huawei 1:34:57

Анализируя долгосрочные цели Пекина, Тонер призывает отказаться от мысли, что Компартия Китая стремится к глобальной идеологической экспансии по образу СССР . Главный приоритет КПК — внутренняя стабильность, сохранение контроля над собственным населением и защита территориальной целостности .

На поддержание этого контроля Китай тратит колоссальное количество ресурсов, что, по мнению Тонер, парадоксальным образом снижает его возможности для агрессивной внешней экспансии . США должны быть готовы к существованию богатого и сильного Китая и думать о создании нового устойчивого баланса сил, а не пытаться искусственно удержать абсолютную мировую гегемонию .

Тонер критикует подход администрации Дональда Трампа к торговой войне с Китаем . Вместо создания коалиции союзников на основе общих демократических ценностей и правил ВТО, Трамп перевел конфликт в плоскость лозунга «Америка прежде всего» .

Наиболее ярким примером этой ошибки Тонер называет ситуацию вокруг компании Huawei:

• Администрация США долгое время убеждала европейских союзников отказаться от оборудования Huawei, мотивируя это критическими угрозами безопасности .
• Однако на следующий день Трамп публично заявил, что санкции против Huawei могут быть смягчены в рамках более выгодной торговой сделки .
• Подобное смешивание реальных угроз национальной безопасности с коммерческими интересами полностью подрывает доверие союзников к заявлениям США .

В заключение Хелен Тонер выражает надежду, что CSET сможет переломить этот тренд, привнося в хаотичные политические дебаты Вашингтона больше взвешенного анализа, основанного на реальных данных.