# Моральная математика роботов: можно ли запрограммировать этику?

Источник: https://www.youtube.com/watch?v=nDQztSTMnd8
Канал: World Science Festival
Опубликовано: 26.07.2016

---

## Моральная математика роботов: можно ли запрограммировать этику?
[[JUMP:0:08]]

С развитием искусственного интеллекта (ИИ) человечество сталкивается с беспрецедентным вызовом: должны ли машины обладать моральным компасом и способны ли мы, в принципе, «закодировать» этику? В дискуссии, организованной **World Science Festival**, приняли участие ведущие ученые, исследователи из **Microsoft** и эксперты по праву, которые попытались разобраться, как технологии, уже ставшие частью нашей повседневности, меняют саму природу ответственности, безопасности и выбора.

### 🤖 Наследие Айзека Азимова в эпоху алгоритмов
[[JUMP:6:27]]

Более полувека назад писатель-фантаст Айзек Азимов сформулировал знаменитые Три закона робототехники, призванные удерживать машины в рамках морали. Однако современные специалисты скептически относятся к их практической применимости.

*   **Гари Маркус**, CEO и сооснователь **Geometric Intelligence**, отмечает, что такие понятия, как «вред» или «справедливость», крайне трудно формализовать в виде точных алгоритмов, необходимых компьютеру.
*   По мнению **Венделла Уоллака**, соавтора книги *Moral Machines*, истории Азимова сами по себе демонстрируют нежизнеспособность «простой» морали: почти в каждом рассказе роботы сталкивались с противоречивыми командами, которые невозможно разрешить логически.
*   Эксперты сходятся во мнении, что жесткое программирование морали в ROM-чипы роботов опасно, так как наши собственные представления о справедливости меняются со временем.

### 🗣️ От «Элизы» до «Альфа-Го»: есть ли прогресс?
[[JUMP:10:27]]

Дискуссия о современных чат-ботах, таких как **Siri** или **Cortana**, часто возвращает экспертов к системе **Eliza**, созданной в 1960-х годах. Несмотря на десятилетия развития, многие современные интерфейсы все еще полагаются на простые, «заготовленные» ответы, имитирующие понимание.

*   **Матиас Шуц** из Университета Тафтса подчеркивает: прогресс в распознавании речи огромен, но мы все еще далеки от настоящего «понимания» (natural language understanding).
*   Относительно **AlphaGo**, победившего чемпиона мира в игре Го, эксперты призывают не обольщаться. Гари Маркус напоминает: успех машины в Го основан на фиксированных правилах и возможности симуляции миллионов партий, в то время как реальный мир хаотичен и полон непредвиденных переменных, с которыми ИИ пока справляется с трудом.

### ⚠️ Уроки TayTweets и проблема «черного ящика»
[[JUMP:19:31]]

Эксперимент **Microsoft** с чат-ботом **Tay**, который за сутки превратился из дружелюбного собеседника в генератор ненависти, стал наглядным примером уязвимости обучающихся систем.

*   **Фернандо Диас** из **Microsoft** указывает на важный урок: люди способны манипулировать поведением ИИ, используя его способность к обучению во вред.
*   **Полковник Линелл Летендр** добавляет: с обучающимися системами необходим иной подход к тестированию. Мы не можем доверять им, как «готовому продукту», — их нужно развивать и контролировать, как ребенка, постепенно расширяя среду взаимодействия.

### ⚖️ Дилемма вагонетки и «этика в пути»
[[JUMP:49:12]]

Автономные транспортные средства ставят перед нами вопрос: как запрограммировать машину на «выбор» в критической ситуации? Исследования Матиаса Шуца показывают парадокс: люди ожидают от роботов более решительных действий в моральных дилеммах, чем от людей-водителей, что перекладывает на разработчиков колоссальную ответственность за проектирование этих «этических решений».

*   **Автономное оружие:** Полковник Летендр отмечает, что министерство обороны США придерживается директив, требующих обязательного участия человека в цепочке принятия решений о применении силы. Тем не менее, по данным отчета Центра новой американской безопасности, десятки стран уже активно работают над разработкой автономных систем.
*   Венделл Уоллак настаивает на необходимости международного запрета на летальное автономное оружие, аргументируя это тем, что машины в принципе не способны соблюдать нормы международного гуманитарного права, такие как различие между комбатантами и гражданскими лицами.

### 💡 Будущее: новый парадигм обучения
[[JUMP:116:22]]

В завершение дискуссии участники признали: текущий подход ИИ, основанный на статистических корреляциях и «поедании» огромных объемов данных, ограничен.

*   Гари Маркус предлагает обратиться к тому, как обучаются дети: они схватывают суть правил игры и психологию других агентов, имея минимальный набор данных.
*   Фернандо Диас видит выход в создании виртуальных «песочниц», таких как **Minecraft**, где новые алгоритмы могут проходить «этический аудит» перед тем, как будут внедрены в реальные системы.

Общий вывод экспертов таков: мы не должны останавливать развитие ИИ, но необходимо прекратить работу в «изолированных цилиндрах» (stovepipes). Инженеры, юристы и специалисты по этике должны научиться говорить на одном языке, чтобы создать технологии, которые будут не только мощными, но и предсказуемыми, безопасными и соответствующими нашим ценностям.