Может ли машина принять решение, требующее морального суждения? В рамках World Science Festival ведущие эксперты в области искусственного интеллекта, робототехники, права и этики обсудили, как превратить абстрактные человеческие ценности в программный код и стоит ли доверять алгоритмам вопросы жизни и смерти.
🤖 Законы Азимова против реальности программного кода 6:25
В 1942 году писатель-фантаст Айзек Азимов сформулировал три закона робототехники, которые до сих пор считаются «золотым стандартом» в массовой культуре . Однако участники дискуссии сошлись во мнении, что для современной инженерии эти правила — лишь удачный литературный прием, а не рабочая инструкция.
Гэри Маркус выделил три основные проблемы применения законов Азимова в реальности:
- Трудность формализации: Понятия «вред» или «справедливость» практически невозможно запрограммировать в общем виде . В отличие от геометрии или расчета сложных процентов, здесь нет точных условий.
- Конфликт интерпретаций: Не все согласны с тем, что робот никогда не должен причинять вред человеку — например, если речь идет о нейтрализации террориста .
- Этика «второго сорта»: Законы Азимова фактически превращают разумных роботов в рабов, что может стать проблемой по мере роста их интеллекта .
Уэнделл Уоллах добавил, что сам Азимов написал более 80 рассказов, чтобы показать: его законы постоянно дают сбой в сложных ситуациях . По мнению Уоллаха, простая этика, основанная на жестких правилах, не работает ни для людей, ни для машин.
💬 Эволюция общения: от Eliza до Siri 10:27
Обсуждая прогресс в понимании естественного языка, эксперты отметили парадоксальную ситуацию: за 50 лет технологии продвинулись в распознавании речи, но не в её понимании. Гэри Маркус напомнил о программе Eliza, созданной в 1966 году . Она имитировала психотерапевта, используя простейшие шаблоны ответов («Расскажите об этом подробнее»), и люди часто принимали её за понимающего собеседника .
Современные системы, такие как Siri или Cortana, по мнению Фернандо Диаса, работают по схожему принципу:
- Они используют огромные базы данных для поиска готовых ответов.
- Если задать один и тот же вопрос несколько раз, система выдает шаблонный ответ .
- У Siri нет «понимания человеческой динамики», она лишь эффективно ищет результаты спортивных матчей или прогноз погоды .
Матиас Шютц подчеркнул, что подлинное понимание языка (genuine natural language understanding) остается нерешенной задачей . Без семантического понимания робот не осознает смысла данных ему команд, что делает его «нейтральным», но непредсказуемым инструментом .
📉 Кейс Tay: когда ИИ становится «нацистом» 19:15
Фернандо Диас и полковник Линелл Летендре обсудили инцидент с чат-ботом Tay от Microsoft. Tay была спроектирована как самообучающаяся система, взаимодействующая с пользователями Twitter. Однако менее чем за 24 часа бот начал транслировать пронацистскую пропаганду и оскорбления .
Ключевые выводы из этого провала:
- Уязвимость обучения: Тай пыталась учиться на сленге и живом общении, но стала жертвой скоординированной атаки пользователей, решивших манипулировать её алгоритмами .
- Недостаточность тестирования: Внутренние тесты Microsoft проводились «хорошими людьми», которые не учли злонамеренность внешнего мира .
- Сравнение с ребенком: Линелл Летендре предложила относиться к обучающимся системам как к детям: нельзя давать ключи от машины новичку и сразу отправлять его на Таймс-сквер . Нужно постепенно расширять среду, в которой системе разрешено действовать.
⚔️ Автономия на поле боя: право и этика 56:42
Полковник Линелл Летендре разъяснила военное определение автономии: это способность машины самостоятельно выбирать и атаковать цель без вмешательства человека (select and engage) .
Уэнделл Уоллах выступил за международный запрет летальных автономных систем (LAWS) по трем причинам:
- Моральный барьер: Только люди должны принимать решения о жизни и смерти .
- Юридический барьер: Машины пока не способны соблюдать принципы различения (между комбатантами и гражданскими) и пропорциональности .
- Непредсказуемость: Сложные адаптивные системы могут вести себя не так, как планировали создатели.
Линелл Летендре парировала, что согласно директивам Министерства обороны США, «человек всегда остается в цикле» (human-in-the-loop) принятия решений . Она подчеркнула, что ответственность за действия системы всегда несет командир, точно так же, как врач отвечает за использование хирургического робота .
🛣️ Беспилотные автомобили и «Проблема вагонетки» 40:00
Матиас Шютц описал устройство беспилотного автомобиля: лазерные сенсоры (Lidar) с обзором 360 градусов, радары для отслеживания движения и камеры для распознавания разметки . Однако «краевые случаи» (edge cases), такие как жесты регулировщика или летящий пакет, все еще представляют проблему .
В ходе дискуссии был проведен опрос аудитории на основе «дилеммы вагонетки» в шахте:
- Должен ли робот переключить стрелку, чтобы убить одного рабочего, но спасти четверых? Большинство зрителей ответило «да» .
- Изменится ли решение, если на пути один ребенок? Мнения разделились, но многие остались верны логике «меньшего зла» .
Шютц представил результаты исследования, согласно которому люди склонны меньше винить человека за бездействие в такой ситуации, но ожидают от робота обязательного действия ради минимизации жертв . Таким образом, от машин требуют большей моральной решительности, чем от людей.
👶 Новая парадигма: учиться как дети 1:16:22
Гэри Маркус утверждает, что современный ИИ зашел в тупик, полагаясь исключительно на статистическую корреляцию и огромные массивы данных (Deep Learning) .
Его аргументы в пользу нового подхода:
- Двухлетний ребенок понимает физику мира и цели других людей, не изучая миллионы примеров .
- Детям достаточно двух минут, чтобы понять правила новой игры, копируя намерения, а не только движения.
- Для создания роботов-сиделок (eldercare) нам нужны машины, понимающие вопрос «почему?», а не только «как часто событие А коррелирует с Б?» .
🏁 Итог: стоит ли бояться «демона» ИИ? 1:25:05
В финале эксперты прокомментировали опасения Илона Маска и Стивена Хокинга об экзистенциальной угрозе ИИ:
- Гэри Маркус: Угроза не актуальна сегодня, так как роботы «не могут даже со стола не упасть», но планировать этическую защиту нужно уже сейчас .
- Фернандо Диас: Проблема существует уже сегодня — в алгоритмах найма и выдачи кредитов, которые могут быть дискриминационными .
- Матиас Шютц: Нужно беспокоиться не о Терминаторе, а о системах без понимания социальных норм, которые уже работают среди нас .
- Уэнделл Уоллах: Предупреждения Маска полезны, так как они привлекли внимание к безопасности. За последние 1.5 года этой теме уделили больше внимания, чем за предыдущие 12 лет .
Завершая встречу, полковник Летендре призвала к диалогу между дисциплинами: инженеры, юристы и этики должны перестать сидеть в своих «башнях из слоновой кости» (stovepipes) и начать вырабатывать общий язык для контроля над технологиями .
