# Йоша Бах и Коннор Лихи о будущем разума и рисках AGI

Источник: https://www.youtube.com/watch?v=Z02Obj8j6FQ
Канал: Machine Learning Street Talk
Опубликовано: 20.06.2023

---

## Философия «будущего разума»: Йоша Бах и Коннор Лихи об экзистенциальных рисках ИИ
[[JUMP:0:26]]

В рамках дискуссии на канале *Machine Learning Street Talk* два видных эксперта в области искусственного интеллекта, когнитивный ученый Йоша Бах и исследователь ИИ Коннор Лихи, обсудили перспективы развития сильного искусственного интеллекта (AGI) и риски, связанные с его появлением. Встреча двух мыслителей, занимающих зачастую диаметрально противоположные позиции, стала попыткой нащупать границы между фатализмом, ответственностью и технологическим оптимизмом.

### 🤖 Природа AGI: агентность против интеллекта
[[JUMP:13:08]]

Йоша Бах рассматривает AGI как естественный этап развития науки и философии — «математизацию разума», мечту, восходящую еще к Аристотелю и Лейбницу. По мнению Баха, нынешние большие языковые модели (LLM) не обладают агентностью, а следовательно, не представляют экзистенциальной угрозы в своей текущей форме. Он подчеркивает:

*   Интеллект — это лишь инструментальная способность к достижению целей.
*   Главная проблема заключается в агентности — способности влиять на мир и контролировать его.
*   Бах полагает, что мы не должны останавливать развитие ИИ, а должны направлять ресурсы на создание систем, способных к эмпатичному сосуществованию с человечеством.

Коннор Лихи, напротив, выражает глубокую озабоченность тем, что человечество сталкивается с «парадоксом Святого Петра» при разработке ИИ: постоянное увеличение мощности технологий при отсутствии надежных механизмов контроля неизбежно ведет к катастрофе. Лихи утверждает:

*   Трансформативный ИИ — это следующий шаг в цепочке технологий, потенциально способных уничтожить цивилизацию, подобно ядерному оружию.
*   Мы не знаем, как «встроить» человеческие ценности в AGI, а значит, по умолчанию получим систему, оптимизирующую мир не так, как мы того хотим.

### 🌍 Цивилизационный тупик и «бутылочное горлышко»
[[JUMP:24:05]]

Йоша Бах высказывает пессимистичный взгляд на текущее состояние человеческой цивилизации, называя ее «безответственным ребенком». Ссылаясь на исследование *Limits to Growth* (1970-е годы), он предполагает, что современная цивилизация движется к «популяционному бутылочному горлышку» из-за истощения ресурсов и климатических изменений.

По мнению Баха, развитие AGI может стать единственным шансом для человечества преодолеть координационные проблемы. Он предлагает сценарий, в котором каждый человек получает «карманный AGI», выступающий не как инструмент корпораций, а как расширение самого человека, способное объективно моделировать мир.

Коннор Лихи согласен с тем, что текущий «путь по умолчанию» ведет к гибели, однако критикует подход Баха к координации:

*   Координация — это не невозможная задача, а технология, которая в нашей культуре недооценена.
*   Лихи настаивает, что мы должны бороться за «нестандартный» путь развития, инвестируя десятилетия в исследования безопасности, а не отдавать всё на откуп эволюции.

### 🛡️ Регулирование: иллюзия или необходимость?
[[JUMP:49:00]]

Участники дискуссии критически отозвались о существующих попытках регулирования индустрии ИИ. Йоша Бах отмечает, что регуляторы часто преследуют интересы корпораций, а не вопросы безопасности, упоминая открытое письмо с призывом к «паузе» в обучении моделей, которое подписали люди, одновременно развивающие собственные подобные инициативы.

Коннор Лихи подчеркивает, что без глубокого понимания технических аспектов регулирование лишь создаст монополию для гигантов вроде OpenAI и Google, не остановив при этом тех, кто будет развивать новые алгоритмы в обход правил. Лихи признается, что не имеет готового решения: «Я не думаю, что текущие методы приведут к безопасному AGI. Нам нужно придумать что-то лучше».

### 🧠 Свобода воли и «дух жизни»
[[JUMP:114:41]]

В завершение беседы была затронута тема свободы воли. По мнению Йоши Баха, свобода воли — это лишь концептуализация системы, принимающей решения в условиях неопределенности. Он утверждает, что на уровне взаимодействия людей мы вынуждены мыслить в рамках агентности, даже если на фундаментальном физическом уровне мир выглядит детерминированным.

Коннор Лихи завершил дискуссию призывом к действию: как decision-maker (субъект, принимающий решения), он не готов принимать «судьбу» как данность. Он подчеркнул, что философские рассуждения — это прекрасное развлечение, но для выживания цивилизации необходима конкретная, практическая работа по обеспечению безопасности.