Майлз Брандейдж: «Нам нужны конкретные предложения в политике ИИ»

80,000 Hours 2,3 тыс. 55 мин 2 мин 23.08.2018
Главное

ИИ-стратеги и политики: архитекторы безопасного будущего технологий 0:00

В мире стремительного развития технологий вопрос о том, как направить искусственный интеллект (ИИ) в безопасное русло, становится одной из важнейших задач современности. В интервью для подкаста 80,000 Hours исследователь Майлз Брандейдж из Оксфордского университета и Future of Humanity Institute (FHI) обсуждает необходимость формирования нового класса специалистов — экспертов по политике и стратегии в сфере ИИ, которые должны обеспечить гармоничное внедрение сверхразумных систем в жизнь общества.

🛠 Профессиональный ландшафт: поиск ответов на неизвестные вызовы 0:38

По мнению Брандейджа, задача специалистов в этой области — не столько делать точные прогнозы будущего, сколько понимать «пространство возможностей». Исследователи работают над тем, чтобы оценить, что технологически осуществимо в ближайшей перспективе и к каким рискам — от киберугроз до дезинформации — человечество должно быть готово уже сегодня.

Основные направления текущих исследований:

Майлз Брандейдж полагает, что существует риск, при котором стремление к экономическому или военному превосходству заставит разработчиков пренебрегать мерами безопасности, что делает создание «стимульно-совместимых механизмов» приоритетной задачей.

🌍 Координация усилий: путь к международному регулированию 11:41

Дискуссия о регулировании ИИ неизбежно перерастает в вопрос национальной безопасности. Брандейдж отмечает, что на текущем этапе важно избегать сценариев, которые лишь усиливают «гонку вооружений». Вместо односторонних мер исследователь предлагает искать пути для более позитивного, совместного подхода между ведущими игроками.

Перспективы координации:

📈 Как начать карьеру в сфере ИИ-политики 18:15

По мнению гостя, сфера ИИ-политики сегодня находится в точке, аналогичной развитию ИИ-безопасности несколько лет назад: понимание проблемы есть, но не хватает конкретных прикладных моделей. Брандейдж рекомендует кандидатам активно взаимодействовать с сообществом и не бояться «размытости» дисциплины.

Рекомендации по входу в профессию:

Майлз Брандейдж подчеркивает: для успеха не обязательно быть экспертом во всём, но необходимо обладать способностью к синтезу знаний и готовностью к междисциплинарному сотрудничеству. В ближайшие годы отрасль будет остро нуждаться в людях, способных трансформировать высокие идеи в рабочие документы и формальные модели.

💬 Цитаты

«Я не думаю, что нужно обладать каким-то специфическим уровнем знаний, чтобы сделать вклад. Существует множество ролей, где полезны люди, умеющие дистиллировать литературу по конкретной теме.»

Майлз Брандейдж 38:16

«Мы переходим от стадии общих пожеланий и формулировок проблем к конкретным предложениям, формальным моделям и добротным аналитическим отчетам.»

Майлз Брандейдж 54:16
👥 Спикеры
📚 Упомянутые книги
🔗 Упомянутые сайты и проекты
📖 Термины
Wireheading
Режим работы ИИ, при котором система стремится получить «награду» (reward) через манипуляцию датчиками, а не через выполнение полезной задачи.
Value alignment
Проблема обеспечения того, чтобы цели и поведение ИИ полностью соответствовали человеческим ценностям.
AI safety failure modes
Типичные сценарии, в которых ИИ-система ведет себя непредвиденным или опасным образом из-за ошибок в проектировании.
Incentive compatible mechanism
Система стимулов, в которой участникам выгодно действовать в соответствии с общественными интересами, а не только ради личной выгоды.
📊 Цифры
🗓 Хронология
  1. 2017 Конференция в Асиломаре, на которой были сформулированы принципы ИИ.
  2. 2016 Публикация отчета Белого дома об ИИ.
  3. Будущее Ожидаемый рост профессиональных команд по ИИ-политике.
⚖️ Другая сторона
Искусственный интеллект Miles Brundage AI policy Future of Humanity Institute AI safety