# Мустафа Сулейман: «Мы не должны позволить ИИ сместить человека с позиции доминирующего вида» Источник: https://www.youtube.com/watch?v=CTxnLsYHWuI Канал: The Diary Of A CEO Опубликовано: 04.09.2023 --- Мустафа Сулейман основал компанию DeepMind в 2010 году. В разговоре со Стивеном Бартлеттом он заявляет: человечество вошло в фазу, где бесконтрольное развитие технологий угрожает самому существованию нашего вида [01:23]. ## 🧠 От игры в Atari к созданию нового вида [[JUMP:05:14]] В 2013 году Мустафа Сулейман наблюдал первые успехи глубокого обучения. Команда DeepMind научила систему играть в игры Atari, такие как Space Invaders и Pong [05:28]. Программа анализировала только «сырые» пиксели на экране и получала вознаграждение за очки. Она самостоятельно разработала стратегии, о которых не подозревали даже разработчики в офисе [06:08]. По словам гостя, этот момент стал для него одновременно воодушевляющим и пугающим. Система продемонстрировала способность изобретать новые знания. Десять лет назад Мустафа Сулейман наблюдал за генерацией черно-белых цифр размером 300 на 300 пикселей [07:42]. Сегодня нейросети создают фотореалистичные видео на основе текстовых запросов [09:04]. Мустафа Сулейман утверждает: * Прогресс в генерации изображений и аудио был предсказуем из-за их локальной структуры. * Успех больших языковых моделей (LLM) стал неожиданностью из-за абстрактности языка [10:24]. * Мощность вычислений для обучения моделей растет в 10 раз ежегодно на протяжении десятилетия [11:29]. В 2013 году для обучения ИИ требовалось два петафлопса вычислений. Сегодня современные модели используют 10 миллиардов петафлопсов [12:26]. ## 🚧 Ловушка неприятия пессимизма [[JUMP:13:36]] Стивен Бартлетт признается, что логический анализ ситуации вызывает у него страх перед будущим. Мустафа Сулейман называет это состояние «ловушкой неприятия пессимизма» [13:50]. Люди часто избегают неприятных разговоров о рисках, предпочитая верить в автоматическое создание новых рабочих мест. По мнению гостя, обществу необходимо открыто обсуждать проблему сдерживания. Исторически человечество почти никогда не запрещало технологии навсегда [16:44]. Исключения составляют лишь фреоны (CFC), химическое и биологическое оружие [17:30]. Однако ИИ является технологией общего назначения. Тот же код, который находит опухоли на рентгеновских снимках, может идентифицировать цели на поле боя [18:09]. ## 🧬 Биологическая угроза и синтетические патогены [[JUMP:23:53]] Мустафа Сулейман прогнозирует появление человекоподобных роботов и новых биологических существ к 2050 году [20:28]. Стоимость секвенирования генома упала в миллион раз с 2000 года [25:08]. Это позволяет синтезировать новые цепочки ДНК и проектировать организмы с заданными свойствами. Гость считает наиболее опасным сценарием эксперименты с синтетическими патогенами. Малые группы людей или даже отдельные лица могут получить доступ к инструментам для создания вирусов, превосходящих по летальности известные пандемии [26:05]. Для предотвращения катастрофы Мустафа Сулейман предлагает: * Ограничить доступ к специализированным вычислительным мощностям. * Контролировать облачные среды и программное обеспечение. * Регулировать оборот биологических веществ и оборудования для синтеза ДНК [27:09]. Мустафа Сулейман подчеркивает: разработчики должны придерживаться принципа предосторожности. Это означает замедление темпов внедрения до тех пор, пока безопасность не будет доказана [28:15]. ## ⚔️ Гонка вооружений и международное сотрудничество [[JUMP:29:52]] Существует риск «состояния гонки», когда страны и корпорации игнорируют безопасность ради лидерства [30:07]. Стивен Бартлетт отмечает: если США замедлятся, Россия или Китай могут вырваться вперед. Мустафа Сулейман считает этот аргумент опасным самоисполняющимся пророчеством. По мнению гостя, у всех стран есть общие интересы в области глобального здоровья и безопасности. Он приводит в пример Договор о нераспространении ядерного оружия. Только девять стран официально обладают ядерным арсеналом, так как технологии его создания сложны и дороги [31:00]. В случае с ИИ ситуация сложнее: код GPT-3, выпущенной в 2020 году, уже доступен в открытом доступе [32:18]. Мустафа Сулейман утверждает: * Необходимо радикально сократить число акторов, имеющих доступ к экзистенциально опасным моделям [1:13:51]. * Правительства должны использовать экономические и военные стимулы для контроля над распространением технологий [1:14:03]. ## ⚡ Квантовые вычисления и радикальное изобилие [[JUMP:46:35]] К 2200 году мир может полностью измениться благодаря квантовым компьютерам. Такая архитектура позволяет выполнять миллиарды операций за один такт вычислений [47:10]. Мустафа Сулейман сравнивает нынешний этап с эпохой дискет объемом 1,44 мегабайта [48:19]. В будущем вычислительная мощность смартфонов станет доступна в устройствах размером с магнит на холодильник [48:47]. Развитие ИИ поможет решить проблему хранения энергии в батареях [49:54]. Это сделает возобновляемую энергию солнца практически бесплатной в ближайшие 20–30 лет. Последствия дешевой энергии по словам гостя: * Снижение стоимости опреснения воды и выращивания продуктов питания. * Удешевление транспортных перевозок. * Радикальное сокращение затрат на производство лекарств и здравоохранение [50:35]. Мустафа Сулейман верит в возможность «радикального изобилия», где базовые товары будут стоить копейки. Это может привести к введению безусловного базового дохода или его аналогов в виде бесплатного доступа к ресурсам [1:39:53]. ## 🛡️ Десять столпов сдерживания [[JUMP:1:15:23]] Мустафа Сулейман предлагает конкретный план по контролю над ИИ. Он выделяет ключевые механизмы, которые должны работать синхронно. 1. **Безопасность:** разработка ИИ-защитников для блокировки атак других ИИ [1:15:35]. 2. **Аудиты:** обязательная проверка моделей на наличие опасных возможностей. 3. **Узкие места (Choke points):** контроль над поставками чипов (GPU) и интернет-кабелями [1:16:27]. 4. **Налогообложение:** введение высоких налогов на ИИ-компании для финансирования переобучения людей [1:17:35]. 5. **Корпоративная структура:** использование статуса корпорации общественной пользы (Public Benefit Corporation) [1:28:35]. Компания Inflection AI потратила 1,3 миллиарда долларов на создание вычислительного кластера [1:16:54]. Мустафа Сулейман утверждает, что государственное регулирование необходимо, но его недостаточно. Требуется глобальное движение и изменение культуры разработки. ## 🏛️ Проблема краткосрочного планирования [[JUMP:1:09:15]] По мнению гостя, четырехлетние электоральные циклы мешают политикам думать о будущем на 20 лет вперед. Миру не хватает международного органа, отвечающего за технологическую стабильность [1:10:10]. Мустафа Сулейман сравнивает необходимую структуру с Советом Безопасности ООН. Он отмечает, что компромиссы в истории достигались только после катастроф, таких как Вторая мировая война [1:12:44]. Либо под угрозой взаимного гарантированного уничтожения. Гость призывает не ждать трагического события для начала координации.