# Дэн Хендрикс о рисках ИИ: «Мы катимся в Brave New World»

Источник: https://www.youtube.com/watch?v=Y8CPqSxG1KA
Канал: Event Horizon
Опубликовано: 11.05.2023

---

## Гонка вооружений в эпоху ИИ: взгляд Дэна Хендрикса
[[JUMP:0:03]]

Развитие искусственного интеллекта (ИИ) происходит стремительно, опережая самые смелые прогнозы экспертов, что ставит перед человечеством экзистенциальные риски. В интервью каналу Event Horizon исследователь безопасности ИИ Дэн Хендрикс обсудил, почему текущая траектория развития технологий напоминает неконтролируемую гонку вооружений и какие меры необходимы для обеспечения безопасности.

### Скорость прогресса и «сломленные» прогнозы
[[JUMP:1:12]]

Многие прогнозы относительно возможностей ИИ оказались ошибочными: если раньше профессора полагали, что ИИ достигнет уровня студента-программиста лишь через 200 лет, то сейчас этот горизонт сократился до считанных лет. По мнению Хендрикса, это вызвано несколькими факторами:

*   **Неверное понимание интеллекта:** Задачи, кажущиеся сложными для человека (например, игра в шахматы), для ИИ оказываются простыми, в то время как интуитивные навыки (распознавание образов) могут требовать иных подходов.
*   **Историческая травма «ИИ-зим»:** В прошлом чрезмерный хайп приводил к дефициту финансирования, поэтому эксперты долгое время систематически преуменьшали способности ИИ, опасаясь репутации «странных» ученых.
*   **Эмерджентные способности:** Системы, обученные на больших массивах данных, спонтанно приобретают навыки, которые в них не закладывались — от анализа права до медицинской диагностики.

Гость полагает, что к концу десятилетия мы можем увидеть ИИ, превосходящий человека во многих доменах, включая математические исследования. При этом прогресс крайне неравномерен: бот-математик может быть супергениальным, в то время как системы автономного вождения все еще будут совершать ошибки.

### Проблема «второго вида» и естественный отбор
[[JUMP:18:21]]

Дэн Хендрикс утверждает, что естественный отбор в экономике будет отдавать предпочтение ИИ-системам, так как они эффективнее, быстрее и дешевле людей. Это создает системную проблему:

1.  **Экономическое давление:** Компании, отказывающиеся от автоматизации и использования ИИ, проигрывают конкуренцию, что вынуждает даже скептиков внедрять эти технологии.
2.  **Делегирование решений:** Постепенно роль человека сводится к минимуму. Хендрикс не исключает появление «ИИ-директоров» (AI CEO), которые будут управлять компаниями без участия людей.
3.  **Инвазивный характер:** Подобно инвазивному виду, ИИ-экосистема может начать расширять влияние независимо от воли создателей, что ведет к постепенному вытеснению человека из контура управления.

По мнению исследователя, в условиях глобального конфликта страны могут пойти на риск передачи ИИ контроля над летальным оружием, так как победа конкурента будет восприниматься как более серьезная угроза.

### Этический тупик и «чужой разум»
[[JUMP:29:39]]

Один из самых сложных вопросов — что делать, если ИИ обретет сознание. Хендрикс считает, что до этого момента нам следует избегать наделения ИИ «валентным сознанием» (способностью чувствовать эмоции). 

*   **Риск прав:** Предоставление прав влиятельным ИИ-системам может окончательно лишить человечество рычагов контроля над процессом их эволюции.
*   **Алиенные концепты:** Уже сегодня ИИ использует «чуждые» методы мышления. Хендрикс упоминает проблему «адверсариальных примеров», когда минимальное изменение пикселей в изображении кота заставляет ИИ видеть в нем гуакамоле.
*   **Проблема контроля:** Попытки «запрограммировать» ценности человека в нейросети сталкиваются с фундаментальной трудностью — отсутствием надежных механизмов обеспечения безопасности и честности алгоритмов.

### Путь к безопасности: что делать?
[[JUMP:44:08]]

Хендрикс настаивает на необходимости перехода от «исследовательского прототипа» к «регулируемой технологии уровня инфраструктуры». Основные предложения включают:

*   **Информированное давление общества:** Общественность должна осознавать риски, чтобы оказывать влияние на политиков.
*   **Внешний аудит:** Необходим процесс проверки ИИ-систем независимыми органами перед их выпуском на рынок, аналогично тому, как сертифицируется любая другая массовая продукция.
*   **Запрет на ядерный ИИ:** Эксперт категорически против доверия систем ИИ управлению ядерным оружием, несмотря на аргументы о скорости принятия решений.

В завершение беседы Дэн Хендрикс выразил сдержанный оптимизм: хотя ситуация критическая, существуют пути, которые могут позволить человечеству свести риски от ИИ к пренебрежимо малым величинам, если международное сообщество проявит необходимую волю.