# Профессор Хэл Доме о предвзятости ИИ: «Мы не можем строить технологии в отрыве от общества» Источник: https://www.youtube.com/watch?v=8TSDg14YhJQ Канал: The TWIML AI Podcast Опубликовано: 29.07.2020 --- Технологии обработки естественного языка (NLP) перестали быть чисто математической задачей. Сегодня они неразрывно связаны с вопросами социальной справедливости, идентичности и власти. Хэл Доме, выдающийся исследователь из Университета Мэриленда и Microsoft Research, рассуждает о том, почему разработчикам ИИ необходимо выйти за рамки матричных вычислений и начать изучать труды социолингвистов и антропологов. ## 🎓 Путь от чистой математики к социальной лингвистике [[JUMP:0:00]] Хэл Доме начал свою карьеру как математик в Университете Карнеги — Меллона. Долгое время он рассматривал NLP исключительно через призму алгоритмов и машинного обучения [1:31]. Однако в последние годы его фокус сместился на вопросы этики, предвзятости и того, как язык конструирует человеческую идентичность [2:14]. По мнению Доме, язык выполняет в обществе две ключевые функции: * **Инструментальная:** способ общения с миром и управления устройствами (например, через умных ассистентов) [8:17]. * **Конститутивная:** способ создания социальной идентичности [8:45]. Доме вспоминает случай из своей жизни, когда на научной конференции коллега узнал в его речи диалект Лос-Анджелеса [9:37]. Этот пример иллюстрирует концепцию «doing language» (делание языка): то, *как* мы говорим, является такой же важной частью сообщения, как и сам контент [10:18]. Именно здесь кроется главная сложность для систем ИИ: попытки алгоритмически «исправить» предвзятость могут случайно лишить пользователей возможности выражать свою идентичность [12:06]. ## ⚖️ Проблема «стерильных» данных и социальных стереотипов [[JUMP:12:31]] Одной из самых горячо обсуждаемых тем в сообществе ИИ является предвзятость алгоритмов. Доме подчеркивает, что проблема гораздо глубже, чем просто наличие «плохих слов» в обучающей выборке. Язык пропитан «социальным багажом», который системы ИИ неизбежно впитывают [17:32]. Гость приводит примеры скрытых опасностей: * **Стирание голосов:** Системы, плохо обученные на афроамериканском английском (AAE) или диалекте чикано, могут просто не распознавать такие сообщения как английскую речь, лишая людей представительства в цифровом пространстве [16:09]. * **Гетеронормативность:** Автоисправление может автоматически заменять нейтральные или специфические фразы (например, некорректно исправляя опечатки в сторону мужского рода), основываясь на доминирующих в данных паттернах [17:17]. * **Иерархии в автоответах:** Если на фразу «Вчера я был у врача» система генерирует вопрос «И что он сказал?», она закрепляет гендерный стереотип о том, что врач — это обязательно мужчина [18:12]. Доме утверждает, что просто «добавить больше данных» — не панацея. Он критикует современный подход, в котором эксперты предметных областей выступают лишь как «разметчики», поставляющие данные в «черный ящик» машинного обучения [19:03]. По его словам, это крайне редуктивный (упрощенный) взгляд [19:16]. ## 📖 Исследование: «Технология языка — это власть» [[JUMP:25:39]] Обсуждая свою недавнюю работу (совместно с Сулейн Блоджетт, Слоаном Брокусом и Ханной Уоллак), Доме отмечает системные проблемы в академических статьях о предвзятости в NLP [26:05]. Проанализировав 150 работ, исследователи обнаружили, что авторы часто используют расплывчатые формулировки типа «стереотипы — это плохо», не объясняя их нормативную основу [28:08]. Ключевые выводы исследования: * Определение «вредности» — это всегда вопрос ценностей, а не только математики [29:00]. * Существует огромный разрыв между гипотетическим вредом (например, «предвзятость в эмбеддингах может повлиять на отбор резюме») и реальными измерениями этого вреда в работающих системах [34:24]. * Исследователям необходимо четко обозначать свою философскую позицию (например, «ролзианский взгляд на справедливость»), чтобы сообщество могло вести осмысленный диалог [40:11]. ## 🛠 Практические инструменты и «Виджиланте справедливости» [[JUMP:40:36]] Переходя от теории к практике, Доме описывает, как крупные корпорации пытаются бороться с предвзятостью. Он упоминает термин *fairness vigilantes* («виджиланте справедливости») — это энтузиасты внутри команд разработчиков, которые часто на голом альтруизме и в нерабочее время пытаются исправлять этические огрехи систем [42:09]. Для системного решения проблемы Доме предлагает три уровня изменений: 1. **Культурный:** внесение критериев справедливости в систему оценки сотрудников и продвижения по службе [42:50]. 2. **Процессный:** создание чек-листов и механизмов обмена опытом между разными командами (например, между разработчиками распознавания речи и машинного перевода) [44:34]. 3. **Технологический:** использование инструментариев от Microsoft, Google и IBM для проверки моделей на равенство показателей (parity metrics) [47:43]. Особое внимание Доме уделяет проблеме «слепых зон» (blind spots). Часто системы выпускаются в свет, и только через 24 часа из статьи в New York Times разработчики узнают, что их алгоритм ведет себя некорректно в непредвиденной ситуации [44:47]. ## 🏳️‍🌈 Гендерная инклюзивность и новые вызовы [[JUMP:52:32]] Одним из самых актуальных направлений работы Доме является разрешение кореференции (определение того, к кому относится местоимение) в контексте гендерной инклюзивности [52:47]. Большинство систем обучалось на архивах газет типа Wall Street Journal, где долгое время не использовалось местоимение *they* в единственном числе для небинарных персон [53:11]. В результате современных тестов выяснилось: * Стандартные системы в классических задачах показывают точность (F-score) в районе 60% [55:59]. * На данных с использованием нео-местоимений (*ze, hir*) или небинарного *they* точность падает до 30% [56:13]. * Ошибки распределены крайне неравномерно и чаще всего бьют именно по гендерно-флюидным и небинарным людям [56:25]. Доме призывает сообщество ИИ прекратить попытки «изобрести синтаксис» или «изобрести гендер» в вакууме. Вместо этого нужно обращаться к десятилетиям наработок в области гендерных исследований и квир-теории, так же как ранее разработчики использовали труды лингвистов для создания синтаксических парсеров [1:04:37].