В условиях стремительного развития искусственного интеллекта человечество сталкивается с вызовами, требующими беспрецедентной мудрости и скорости принятия решений. Зершане Куреши в материале для проекта 80,000 Hours анализирует, как специализированные ИИ-инструменты могут помочь обществу преодолеть когнитивные искажения и улучшить координацию в критический период перехода к сильному ИИ (AGI).
🧠 ИИ как рычаг для коллективного разума 1:04
Появление сильного искусственного интеллекта (AGI) может привести к тому, что прогресс, который раньше занимал столетие, будет «сжат» в одно десятилетие . Зершане Куреши отмечает, что это заставит человечество принимать решения с более высокими ставками, чем когда-либо прежде, и в гораздо более сжатые сроки. Автор статьи предполагает, что создание и внедрение инструментов ИИ, помогающих мыслить яснее и действовать мудрее, может стать решающим фактором в навигации по этому критическому периоду .
Хотя эта область еще не является зрелой и сопряжена с рисками, Куреши считает её крайне перспективной для социально значимой карьеры. По оценкам автора, на данном этапе было бы полезно, если бы около нескольких сотен предприимчивых специалистов сосредоточились на улучшении процесса принятия общественных решений с помощью ИИ .
📉 Почему человечество ошибается и как это исправить 2:52
История человечества полна примеров катастрофических ошибок в принятии решений:
- Институты десятилетиями игнорировали предупреждения климатологов .
- Реакция на ранние сигналы пандемии COVID-19 была неэффективной.
- Множество войн начиналось из-за неверных расчетов, о чем впоследствии жалели все стороны .
По мнению Зершане Куреши, причины этих сбоев кроются в непонимании фактов, неспособности предсказать будущие вызовы или в проблемах координации, когда стороны знают о проблеме, но не могут договориться о совместных действиях .
С развитием продвинутого ИИ ставки растут. Куреши и её коллеги из 80,000 Hours выделяют несколько новых факторов риска:
- Появление множества способных агентов ИИ, чьи цели могут отличаться от человеческих .
- Радикальная трансформация рынка труда, где основным двигателем прогресса станет ИИ, а не люди.
- Разработка новых видов оружия ИИ-системами на скоростях, превышающих возможности человеческого анализа .
- Геополитическая напряженность из-за контроля над технологиями ИИ .
В статье упоминается аргумент Уилла Макаскилла и Фина Мурхауса из их работы «Подготовка к интеллектуальному взрыву» (Preparing for the Intelligence Explosion): решения, которые раньше принимались годами, скоро придется принимать за месяцы .
🛠 Две категории спасительных инструментов 6:04
Зершане Куреши утверждает, что ИИ не является монолитом, и определенные его виды могут стать частью решения, а не проблемы . Она выделяет два типа инструментов, которые могут существенно улучшить качество общественных решений.
1. Эпистемические инструменты (поиск истины) 7:36
Эти системы помогают понять, что является правдой, и что может произойти в будущем:
- ИИ-фактчекеры: Они могут стать более надежными и беспристрастными оценщиками информации, чем люди, помогая обществу прийти к согласию по базовым фактам .
- Системы прогнозирования: Помощь институтам в моделировании последствий различных политических решений .
- Инструменты для морального прогресса: Более спекулятивное направление, предполагающее помощь ИИ в анализе сложных этических вопросов .
2. Инструменты координации 8:52
Эти системы помогают группам работать вместе даже при наличии конфликтующих интересов:
- Инструменты для переговоров: ИИ может симулировать тысячи часов переговоров, чтобы найти взаимовыгодные решения, которые люди могли упустить .
- Системы верификации: Беспристрастный мониторинг соблюдения соглашений, что помогает преодолеть барьеры недоверия .
- Структурированная прозрачность: Позволяет сторонам обнаруживать специфические угрозы (например, создание опасного оружия) без тотальной слежки и нарушения приватности .
Куреши ссылается на работу Аллана Дафо и соавторов «Открытые проблемы в кооперативном ИИ» (Open Problems in Cooperative AI), подчеркивая важность этого направления для предотвращения исходов, которых не хочет ни одна из сторон .
⚖️ Критика и риски: стоит ли ускорять ИИ? 13:27
Существует несколько серьезных возражений против работы над этими инструментами, которые автор подробно разбирает.
Возражение №1: Рынок сделает это сам 13:47
Крупные технологические компании уже вкладывают миллиарды в ИИ. Однако Куреши возражает: рыночные стимулы работают избирательно. Например, ИИ для прогнозирования финансовых рынков будет создан ради прибыли, но инструменты для прогнозирования глобальных катастроф или глубокого этического анализа могут оказаться недофинансированными .
Возражение №2: Опасное ускорение общего ИИ 16:53
Работа над инструментами принятия решений может косвенно ускорить создание AGI, увеличивая общий объем знаний и инвестиций в ИИ-исследования. Куреши признает этот риск, но выдвигает три контраргумента:
- Вклад небольших проектов в общий «хайп» вокруг ИИ ничтожен по сравнению с миллиардами крупнейших корпораций .
- Можно выбирать менее рискованные приложения (например, фактчекинг вместо инструментов стратегического планирования) .
- Если эти инструменты помогут избежать крупнейших мировых катастроф, небольшое ускорение прихода AGI может быть оправданным компромиссом .
Возражение №3: Риск злоупотреблений 20:05
Любая технология может быть использована во вред. Инструменты переговоров или прогнозирования могут помочь злоумышленникам эффективнее добиваться своих целей или осуществить захват власти .
Зершане Куреши полагает, что большинство вредных решений принимается не из злого умысла, а из-за непонимания ситуации или неспособности найти компромисс. Она считает важным сделать такие инструменты широко доступными для ключевых общественных институтов, чтобы ни одна группа не получила опасного преимущества .
🚀 Как построить карьеру в этой области 26:28
Для тех, кто решит заняться улучшением процесса принятия общественных решений, автор предлагает несколько путей:
- Работа в профильных организациях: Прямое участие в разработке инструментов или создание собственных стартапов .
- Нетехнические роли: Проекты остро нуждаются в операционных директорах, продакт-менеджерах и специалистах по интерфейсам, которые сделают инструменты удобными для политиков и управленцев .
- Создание инфраструктуры: Разработка бенчмарков (тестов) для оценки ИИ-систем, кураторство наборов данных (например, архивов прошлых ошибок в прогнозировании) .
- Внедрение: Интеграция готовых инструментов в работу государственных органов и международных организаций .
Куреши рекомендует начинать с выстраивания сети контактов в сообществе безопасности ИИ (AI safety) и изучения таких работ, как «ИИ-инструменты для экзистенциальной безопасности» (AI Tools for Existential Security) .
