Технологии обработки естественного языка (NLP) перестали быть чисто математической задачей. Сегодня они неразрывно связаны с вопросами социальной справедливости, идентичности и власти. Хэл Доме, выдающийся исследователь из Университета Мэриленда и Microsoft Research, рассуждает о том, почему разработчикам ИИ необходимо выйти за рамки матричных вычислений и начать изучать труды социолингвистов и антропологов.
🎓 Путь от чистой математики к социальной лингвистике 0:00
Хэл Доме начал свою карьеру как математик в Университете Карнеги — Меллона. Долгое время он рассматривал NLP исключительно через призму алгоритмов и машинного обучения . Однако в последние годы его фокус сместился на вопросы этики, предвзятости и того, как язык конструирует человеческую идентичность .
По мнению Доме, язык выполняет в обществе две ключевые функции:
- Инструментальная: способ общения с миром и управления устройствами (например, через умных ассистентов) .
- Конститутивная: способ создания социальной идентичности .
Доме вспоминает случай из своей жизни, когда на научной конференции коллега узнал в его речи диалект Лос-Анджелеса . Этот пример иллюстрирует концепцию «doing language» (делание языка): то, как мы говорим, является такой же важной частью сообщения, как и сам контент . Именно здесь кроется главная сложность для систем ИИ: попытки алгоритмически «исправить» предвзятость могут случайно лишить пользователей возможности выражать свою идентичность .
⚖️ Проблема «стерильных» данных и социальных стереотипов 12:31
Одной из самых горячо обсуждаемых тем в сообществе ИИ является предвзятость алгоритмов. Доме подчеркивает, что проблема гораздо глубже, чем просто наличие «плохих слов» в обучающей выборке. Язык пропитан «социальным багажом», который системы ИИ неизбежно впитывают .
Гость приводит примеры скрытых опасностей:
- Стирание голосов: Системы, плохо обученные на афроамериканском английском (AAE) или диалекте чикано, могут просто не распознавать такие сообщения как английскую речь, лишая людей представительства в цифровом пространстве .
- Гетеронормативность: Автоисправление может автоматически заменять нейтральные или специфические фразы (например, некорректно исправляя опечатки в сторону мужского рода), основываясь на доминирующих в данных паттернах .
- Иерархии в автоответах: Если на фразу «Вчера я был у врача» система генерирует вопрос «И что он сказал?», она закрепляет гендерный стереотип о том, что врач — это обязательно мужчина .
Доме утверждает, что просто «добавить больше данных» — не панацея. Он критикует современный подход, в котором эксперты предметных областей выступают лишь как «разметчики», поставляющие данные в «черный ящик» машинного обучения . По его словам, это крайне редуктивный (упрощенный) взгляд .
📖 Исследование: «Технология языка — это власть» 25:39
Обсуждая свою недавнюю работу (совместно с Сулейн Блоджетт, Слоаном Брокусом и Ханной Уоллак), Доме отмечает системные проблемы в академических статьях о предвзятости в NLP . Проанализировав 150 работ, исследователи обнаружили, что авторы часто используют расплывчатые формулировки типа «стереотипы — это плохо», не объясняя их нормативную основу .
Ключевые выводы исследования:
- Определение «вредности» — это всегда вопрос ценностей, а не только математики .
- Существует огромный разрыв между гипотетическим вредом (например, «предвзятость в эмбеддингах может повлиять на отбор резюме») и реальными измерениями этого вреда в работающих системах .
- Исследователям необходимо четко обозначать свою философскую позицию (например, «ролзианский взгляд на справедливость»), чтобы сообщество могло вести осмысленный диалог .
🛠 Практические инструменты и «Виджиланте справедливости» 40:36
Переходя от теории к практике, Доме описывает, как крупные корпорации пытаются бороться с предвзятостью. Он упоминает термин fairness vigilantes («виджиланте справедливости») — это энтузиасты внутри команд разработчиков, которые часто на голом альтруизме и в нерабочее время пытаются исправлять этические огрехи систем .
Для системного решения проблемы Доме предлагает три уровня изменений:
- Культурный: внесение критериев справедливости в систему оценки сотрудников и продвижения по службе .
- Процессный: создание чек-листов и механизмов обмена опытом между разными командами (например, между разработчиками распознавания речи и машинного перевода) .
- Технологический: использование инструментариев от Microsoft, Google и IBM для проверки моделей на равенство показателей (parity metrics) .
Особое внимание Доме уделяет проблеме «слепых зон» (blind spots). Часто системы выпускаются в свет, и только через 24 часа из статьи в New York Times разработчики узнают, что их алгоритм ведет себя некорректно в непредвиденной ситуации .
🏳️🌈 Гендерная инклюзивность и новые вызовы 52:32
Одним из самых актуальных направлений работы Доме является разрешение кореференции (определение того, к кому относится местоимение) в контексте гендерной инклюзивности . Большинство систем обучалось на архивах газет типа Wall Street Journal, где долгое время не использовалось местоимение they в единственном числе для небинарных персон .
В результате современных тестов выяснилось:
- Стандартные системы в классических задачах показывают точность (F-score) в районе 60% .
- На данных с использованием нео-местоимений (ze, hir) или небинарного they точность падает до 30% .
- Ошибки распределены крайне неравномерно и чаще всего бьют именно по гендерно-флюидным и небинарным людям .
Доме призывает сообщество ИИ прекратить попытки «изобрести синтаксис» или «изобрести гендер» в вакууме. Вместо этого нужно обращаться к десятилетиям наработок в области гендерных исследований и квир-теории, так же как ранее разработчики использовали труды лингвистов для создания синтаксических парсеров .
