Мустафа Сулейман основал компанию DeepMind в 2010 году. В разговоре со Стивеном Бартлеттом он заявляет: человечество вошло в фазу, где бесконтрольное развитие технологий угрожает самому существованию нашего вида .
🧠 От игры в Atari к созданию нового вида 5:14
В 2013 году Мустафа Сулейман наблюдал первые успехи глубокого обучения. Команда DeepMind научила систему играть в игры Atari, такие как Space Invaders и Pong . Программа анализировала только «сырые» пиксели на экране и получала вознаграждение за очки. Она самостоятельно разработала стратегии, о которых не подозревали даже разработчики в офисе .
По словам гостя, этот момент стал для него одновременно воодушевляющим и пугающим. Система продемонстрировала способность изобретать новые знания. Десять лет назад Мустафа Сулейман наблюдал за генерацией черно-белых цифр размером 300 на 300 пикселей . Сегодня нейросети создают фотореалистичные видео на основе текстовых запросов .
Мустафа Сулейман утверждает:
- Прогресс в генерации изображений и аудио был предсказуем из-за их локальной структуры.
- Успех больших языковых моделей (LLM) стал неожиданностью из-за абстрактности языка .
- Мощность вычислений для обучения моделей растет в 10 раз ежегодно на протяжении десятилетия .
В 2013 году для обучения ИИ требовалось два петафлопса вычислений. Сегодня современные модели используют 10 миллиардов петафлопсов .
🚧 Ловушка неприятия пессимизма 13:36
Стивен Бартлетт признается, что логический анализ ситуации вызывает у него страх перед будущим. Мустафа Сулейман называет это состояние «ловушкой неприятия пессимизма» . Люди часто избегают неприятных разговоров о рисках, предпочитая верить в автоматическое создание новых рабочих мест.
По мнению гостя, обществу необходимо открыто обсуждать проблему сдерживания. Исторически человечество почти никогда не запрещало технологии навсегда . Исключения составляют лишь фреоны (CFC), химическое и биологическое оружие . Однако ИИ является технологией общего назначения. Тот же код, который находит опухоли на рентгеновских снимках, может идентифицировать цели на поле боя .
🧬 Биологическая угроза и синтетические патогены 23:53
Мустафа Сулейман прогнозирует появление человекоподобных роботов и новых биологических существ к 2050 году . Стоимость секвенирования генома упала в миллион раз с 2000 года . Это позволяет синтезировать новые цепочки ДНК и проектировать организмы с заданными свойствами.
Гость считает наиболее опасным сценарием эксперименты с синтетическими патогенами. Малые группы людей или даже отдельные лица могут получить доступ к инструментам для создания вирусов, превосходящих по летальности известные пандемии .
Для предотвращения катастрофы Мустафа Сулейман предлагает:
- Ограничить доступ к специализированным вычислительным мощностям.
- Контролировать облачные среды и программное обеспечение.
- Регулировать оборот биологических веществ и оборудования для синтеза ДНК .
Мустафа Сулейман подчеркивает: разработчики должны придерживаться принципа предосторожности. Это означает замедление темпов внедрения до тех пор, пока безопасность не будет доказана .
⚔️ Гонка вооружений и международное сотрудничество 29:52
Существует риск «состояния гонки», когда страны и корпорации игнорируют безопасность ради лидерства . Стивен Бартлетт отмечает: если США замедлятся, Россия или Китай могут вырваться вперед. Мустафа Сулейман считает этот аргумент опасным самоисполняющимся пророчеством.
По мнению гостя, у всех стран есть общие интересы в области глобального здоровья и безопасности. Он приводит в пример Договор о нераспространении ядерного оружия. Только девять стран официально обладают ядерным арсеналом, так как технологии его создания сложны и дороги . В случае с ИИ ситуация сложнее: код GPT-3, выпущенной в 2020 году, уже доступен в открытом доступе .
Мустафа Сулейман утверждает:
- Необходимо радикально сократить число акторов, имеющих доступ к экзистенциально опасным моделям .
- Правительства должны использовать экономические и военные стимулы для контроля над распространением технологий .
⚡ Квантовые вычисления и радикальное изобилие 46:35
К 2200 году мир может полностью измениться благодаря квантовым компьютерам. Такая архитектура позволяет выполнять миллиарды операций за один такт вычислений . Мустафа Сулейман сравнивает нынешний этап с эпохой дискет объемом 1,44 мегабайта . В будущем вычислительная мощность смартфонов станет доступна в устройствах размером с магнит на холодильник .
Развитие ИИ поможет решить проблему хранения энергии в батареях . Это сделает возобновляемую энергию солнца практически бесплатной в ближайшие 20–30 лет.
Последствия дешевой энергии по словам гостя:
- Снижение стоимости опреснения воды и выращивания продуктов питания.
- Удешевление транспортных перевозок.
- Радикальное сокращение затрат на производство лекарств и здравоохранение .
Мустафа Сулейман верит в возможность «радикального изобилия», где базовые товары будут стоить копейки. Это может привести к введению безусловного базового дохода или его аналогов в виде бесплатного доступа к ресурсам .
🛡️ Десять столпов сдерживания 1:15:23
Мустафа Сулейман предлагает конкретный план по контролю над ИИ. Он выделяет ключевые механизмы, которые должны работать синхронно.
- Безопасность: разработка ИИ-защитников для блокировки атак других ИИ .
- Аудиты: обязательная проверка моделей на наличие опасных возможностей.
- Узкие места (Choke points): контроль над поставками чипов (GPU) и интернет-кабелями .
- Налогообложение: введение высоких налогов на ИИ-компании для финансирования переобучения людей .
- Корпоративная структура: использование статуса корпорации общественной пользы (Public Benefit Corporation) .
Компания Inflection AI потратила 1,3 миллиарда долларов на создание вычислительного кластера . Мустафа Сулейман утверждает, что государственное регулирование необходимо, но его недостаточно. Требуется глобальное движение и изменение культуры разработки.
🏛️ Проблема краткосрочного планирования 1:09:15
По мнению гостя, четырехлетние электоральные циклы мешают политикам думать о будущем на 20 лет вперед. Миру не хватает международного органа, отвечающего за технологическую стабильность . Мустафа Сулейман сравнивает необходимую структуру с Советом Безопасности ООН.
Он отмечает, что компромиссы в истории достигались только после катастроф, таких как Вторая мировая война . Либо под угрозой взаимного гарантированного уничтожения. Гость призывает не ждать трагического события для начала координации.
