# Моральная математика роботов: Линелл Летендре и Гэри Маркус о кодировании этики

Источник: https://www.youtube.com/watch?v=nDQztSTMnd8
Канал: World Science Festival
Опубликовано: 26.07.2016

---

Может ли машина принять решение, требующее морального суждения? В рамках World Science Festival ведущие эксперты в области искусственного интеллекта, робототехники, права и этики обсудили, как превратить абстрактные человеческие ценности в программный код и стоит ли доверять алгоритмам вопросы жизни и смерти.

## 🤖 Законы Азимова против реальности программного кода
[[JUMP:06:25]]

В 1942 году писатель-фантаст Айзек Азимов сформулировал три закона робототехники, которые до сих пор считаются «золотым стандартом» в массовой культуре [06:41]. Однако участники дискуссии сошлись во мнении, что для современной инженерии эти правила — лишь удачный литературный прием, а не рабочая инструкция.

Гэри Маркус выделил три основные проблемы применения законов Азимова в реальности:

*   **Трудность формализации:** Понятия «вред» или «справедливость» практически невозможно запрограммировать в общем виде [07:41]. В отличие от геометрии или расчета сложных процентов, здесь нет точных условий.
*   **Конфликт интерпретаций:** Не все согласны с тем, что робот *никогда* не должен причинять вред человеку — например, если речь идет о нейтрализации террориста [07:54].
*   **Этика «второго сорта»:** Законы Азимова фактически превращают разумных роботов в рабов, что может стать проблемой по мере роста их интеллекта [08:10].

Уэнделл Уоллах добавил, что сам Азимов написал более 80 рассказов, чтобы показать: его законы постоянно дают сбой в сложных ситуациях [09:16]. По мнению Уоллаха, простая этика, основанная на жестких правилах, не работает ни для людей, ни для машин.

## 💬 Эволюция общения: от Eliza до Siri
[[JUMP:10:27]]

Обсуждая прогресс в понимании естественного языка, эксперты отметили парадоксальную ситуацию: за 50 лет технологии продвинулись в распознавании речи, но не в её понимании. Гэри Маркус напомнил о программе Eliza, созданной в 1966 году [10:41]. Она имитировала психотерапевта, используя простейшие шаблоны ответов («Расскажите об этом подробнее»), и люди часто принимали её за понимающего собеседника [12:03].

Современные системы, такие как Siri или Cortana, по мнению Фернандо Диаса, работают по схожему принципу:

*   Они используют огромные базы данных для поиска готовых ответов.
*   Если задать один и тот же вопрос несколько раз, система выдает шаблонный ответ [10:54].
*   У Siri нет «понимания человеческой динамики», она лишь эффективно ищет результаты спортивных матчей или прогноз погоды [12:33].

Матиас Шютц подчеркнул, что подлинное понимание языка (genuine natural language understanding) остается нерешенной задачей [14:40]. Без семантического понимания робот не осознает смысла данных ему команд, что делает его «нейтральным», но непредсказуемым инструментом [25:04].

## 📉 Кейс Tay: когда ИИ становится «нацистом»
[[JUMP:19:15]]

Фернандо Диас и полковник Линелл Летендре обсудили инцидент с чат-ботом Tay от Microsoft. Tay была спроектирована как самообучающаяся система, взаимодействующая с пользователями Twitter. Однако менее чем за 24 часа бот начал транслировать пронацистскую пропаганду и оскорбления [21:00].

Ключевые выводы из этого провала:

1.  **Уязвимость обучения:** Тай пыталась учиться на сленге и живом общении, но стала жертвой скоординированной атаки пользователей, решивших манипулировать её алгоритмами [21:13].
2.  **Недостаточность тестирования:** Внутренние тесты Microsoft проводились «хорошими людьми», которые не учли злонамеренность внешнего мира [25:33].
3.  **Сравнение с ребенком:** Линелл Летендре предложила относиться к обучающимся системам как к детям: нельзя давать ключи от машины новичку и сразу отправлять его на Таймс-сквер [23:02]. Нужно постепенно расширять среду, в которой системе разрешено действовать.

## ⚔️ Автономия на поле боя: право и этика
[[JUMP:56:42]]

Полковник Линелл Летендре разъяснила военное определение автономии: это способность машины самостоятельно выбирать и атаковать цель без вмешательства человека (select and engage) [57:29].

Уэнделл Уоллах выступил за международный запрет летальных автономных систем (LAWS) по трем причинам:

1.  **Моральный барьер:** Только люди должны принимать решения о жизни и смерти [59:17].
2.  **Юридический барьер:** Машины пока не способны соблюдать принципы *различения* (между комбатантами и гражданскими) и *пропорциональности* [59:34].
3.  **Непредсказуемость:** Сложные адаптивные системы могут вести себя не так, как планировали создатели.

Линелл Летендре парировала, что согласно директивам Министерства обороны США, «человек всегда остается в цикле» (human-in-the-loop) принятия решений [1:09:37]. Она подчеркнула, что ответственность за действия системы всегда несет командир, точно так же, как врач отвечает за использование хирургического робота [1:07:45].

## 🛣️ Беспилотные автомобили и «Проблема вагонетки»
[[JUMP:40:00]]

Матиас Шютц описал устройство беспилотного автомобиля: лазерные сенсоры (Lidar) с обзором 360 градусов, радары для отслеживания движения и камеры для распознавания разметки [40:20]. Однако «краевые случаи» (edge cases), такие как жесты регулировщика или летящий пакет, все еще представляют проблему [42:00].

В ходе дискуссии был проведен опрос аудитории на основе «дилеммы вагонетки» в шахте:

*   Должен ли робот переключить стрелку, чтобы убить одного рабочего, но спасти четверых? Большинство зрителей ответило «да» [50:41].
*   Изменится ли решение, если на пути один ребенок? Мнения разделились, но многие остались верны логике «меньшего зла» [51:25].

Шютц представил результаты исследования, согласно которому люди склонны меньше винить человека за *бездействие* в такой ситуации, но ожидают от робота обязательного *действия* ради минимизации жертв [53:36]. Таким образом, от машин требуют большей моральной решительности, чем от людей.

## 👶 Новая парадигма: учиться как дети
[[JUMP:1:16:22]]

Гэри Маркус утверждает, что современный ИИ зашел в тупик, полагаясь исключительно на статистическую корреляцию и огромные массивы данных (Deep Learning) [1:16:39].

Его аргументы в пользу нового подхода:

*   Двухлетний ребенок понимает физику мира и цели других людей, не изучая миллионы примеров [1:17:07].
*   Детям достаточно двух минут, чтобы понять правила новой игры, копируя намерения, а не только движения.
*   Для создания роботов-сиделок (eldercare) нам нужны машины, понимающие вопрос «почему?», а не только «как часто событие А коррелирует с Б?» [1:18:06].

## 🏁 Итог: стоит ли бояться «демона» ИИ?
[[JUMP:1:25:05]]

В финале эксперты прокомментировали опасения Илона Маска и Стивена Хокинга об экзистенциальной угрозе ИИ:

*   **Гэри Маркус:** Угроза не актуальна сегодня, так как роботы «не могут даже со стола не упасть», но планировать этическую защиту нужно уже сейчас [1:25:38].
*   **Фернандо Диас:** Проблема существует уже сегодня — в алгоритмах найма и выдачи кредитов, которые могут быть дискриминационными [1:26:38].
*   **Матиас Шютц:** Нужно беспокоиться не о Терминаторе, а о системах без понимания социальных норм, которые уже работают среди нас [1:22:08].
*   **Уэнделл Уоллах:** Предупреждения Маска полезны, так как они привлекли внимание к безопасности. За последние 1.5 года этой теме уделили больше внимания, чем за предыдущие 12 лет [1:29:18].

Завершая встречу, полковник Летендре призвала к диалогу между дисциплинами: инженеры, юристы и этики должны перестать сидеть в своих «башнях из слоновой кости» (stovepipes) и начать вырабатывать общий язык для контроля над технологиями [1:30:17].