Йоша Бах и Коннор Лихи о будущем разума и рисках AGI

Machine Learning Street Talk 48 тыс. 1 ч 31 мин 3 мин 20.06.2023
Главное

Философия «будущего разума»: Йоша Бах и Коннор Лихи об экзистенциальных рисках ИИ 0:26

В рамках дискуссии на канале Machine Learning Street Talk два видных эксперта в области искусственного интеллекта, когнитивный ученый Йоша Бах и исследователь ИИ Коннор Лихи, обсудили перспективы развития сильного искусственного интеллекта (AGI) и риски, связанные с его появлением. Встреча двух мыслителей, занимающих зачастую диаметрально противоположные позиции, стала попыткой нащупать границы между фатализмом, ответственностью и технологическим оптимизмом.

🤖 Природа AGI: агентность против интеллекта 13:08

Йоша Бах рассматривает AGI как естественный этап развития науки и философии — «математизацию разума», мечту, восходящую еще к Аристотелю и Лейбницу. По мнению Баха, нынешние большие языковые модели (LLM) не обладают агентностью, а следовательно, не представляют экзистенциальной угрозы в своей текущей форме. Он подчеркивает:

Коннор Лихи, напротив, выражает глубокую озабоченность тем, что человечество сталкивается с «парадоксом Святого Петра» при разработке ИИ: постоянное увеличение мощности технологий при отсутствии надежных механизмов контроля неизбежно ведет к катастрофе. Лихи утверждает:

🌍 Цивилизационный тупик и «бутылочное горлышко» 24:05

Йоша Бах высказывает пессимистичный взгляд на текущее состояние человеческой цивилизации, называя ее «безответственным ребенком». Ссылаясь на исследование Limits to Growth (1970-е годы), он предполагает, что современная цивилизация движется к «популяционному бутылочному горлышку» из-за истощения ресурсов и климатических изменений.

По мнению Баха, развитие AGI может стать единственным шансом для человечества преодолеть координационные проблемы. Он предлагает сценарий, в котором каждый человек получает «карманный AGI», выступающий не как инструмент корпораций, а как расширение самого человека, способное объективно моделировать мир.

Коннор Лихи согласен с тем, что текущий «путь по умолчанию» ведет к гибели, однако критикует подход Баха к координации:

🛡️ Регулирование: иллюзия или необходимость? 49:00

Участники дискуссии критически отозвались о существующих попытках регулирования индустрии ИИ. Йоша Бах отмечает, что регуляторы часто преследуют интересы корпораций, а не вопросы безопасности, упоминая открытое письмо с призывом к «паузе» в обучении моделей, которое подписали люди, одновременно развивающие собственные подобные инициативы.

Коннор Лихи подчеркивает, что без глубокого понимания технических аспектов регулирование лишь создаст монополию для гигантов вроде OpenAI и Google, не остановив при этом тех, кто будет развивать новые алгоритмы в обход правил. Лихи признается, что не имеет готового решения: «Я не думаю, что текущие методы приведут к безопасному AGI. Нам нужно придумать что-то лучше».

🧠 Свобода воли и «дух жизни»

В завершение беседы была затронута тема свободы воли. По мнению Йоши Баха, свобода воли — это лишь концептуализация системы, принимающей решения в условиях неопределенности. Он утверждает, что на уровне взаимодействия людей мы вынуждены мыслить в рамках агентности, даже если на фундаментальном физическом уровне мир выглядит детерминированным.

Коннор Лихи завершил дискуссию призывом к действию: как decision-maker (субъект, принимающий решения), он не готов принимать «судьбу» как данность. Он подчеркнул, что философские рассуждения — это прекрасное развлечение, но для выживания цивилизации необходима конкретная, практическая работа по обеспечению безопасности.

💬 Цитаты

«Если ваша система приводит к смерти моей мамы, мне не нравится ваша система.»

Коннор Лихи 16:16

«Человечество — это очень умный, но очень близорукий вид обезьян, играющий в короткую игру.»

«Мир не добр. Мы не главные герои.»

Коннор Лихи 57:15
👥 Спикеры
📚 Упомянутые книги
🔗 Упомянутые сайты и проекты
📖 Термины
AGI
Artificial General Intelligence — сильный искусственный интеллект, способный выполнять любую интеллектуальную задачу на уровне человека или выше.
Alignment
Проблема согласования целей ИИ с человеческими ценностями, чтобы предотвратить нежелательные последствия.
Парадокс Святого Петра
Теоретическая ситуация, при которой рациональный выбор играть в игру с бесконечным выигрышем неизбежно ведет к потере всего при бесконечных попытках.
Интерпретация (эпистемология)
Процесс придания смысла входящим данным через призму внутренних моделей мира.
Агентность
Способность системы самостоятельно принимать решения и осуществлять действия для достижения целей.
📊 Цифры
🗓 Хронология
  1. 1970-е Исследование Club of Rome «Limits to Growth».
  2. Холодная война Инциденты с ядерным оружием, которые могли привести к катастрофе.
⚖️ Другая сторона
Искусственный интеллект AGI Joscha Bach Connor Leahy AI Safety цивилизационный риск