# Румман Чоудхури об ответственном ИИ: почему прозрачность не гарантирует справедливость

Источник: https://www.youtube.com/watch?v=bEPOxbQTyZk
Канал: The TWIML AI Podcast
Опубликовано: 08.06.2020

---

В новом выпуске подкаста **The TWIML AI Podcast** ведущий Сэм Черрингтон беседует с Румман Чоудхури, управляющим директором и глобальным руководителем направления ответственного ИИ в Accenture. Обсуждение охватывает критическую точку перегиба, в которой оказалась индустрия искусственного интеллекта в 2020 году: от теоретических этических принципов компании переходят к реальному внедрению механизмов подотчетности, управления рисками и междисциплинарного анализа.

## 🎓 Путь от политологии к управлению ИИ
[[JUMP:01:26]]

Румман Чоудхури описывает свою карьеру как «извилистый путь», который идеально подготовил её к текущей роли. Будучи «количественным социологом» (quantitative social scientist), она объединяет в своей работе знания в области политологии, менеджмента и экономики [2:11]. 

Ключевые вехи её биографии:

*   **2013 год:** Переезд в Кремниевую долину для работы в тогда ещё «странной» области под названием Data Science [1:54].
*   **PhD в UCSD:** Чоудхури оставила программу докторантуры по политологии ради карьеры в ИТ, что тогда вызывало недоумение у коллег [2:07].
*   **Опыт в Metis:** Преподавание в буткемпе для специалистов по данным, где она фокусировалась на том, как статистика и опросы могут вводить в заблуждение [2:32].
*   **Accenture:** В течение последних трех лет она возглавляет направление Responsible AI, создавая практические решения для клиентов [3:14].

По словам гостьи, её работа требует использования «всех частей мозга»: навыков Data Science для понимания интерпретируемости моделей и социологического бэкграунда для анализа человеческого поведения и инклюзивной политики данных [6:16].

## 📑 От слов к делу: операционализация этики
[[JUMP:08:09]]

Индустрия ИИ сейчас «тонет в принципах», утверждает Румман. В базе данных проекта Algorithm Watch насчитывается более 150 наборов этических принципов — от деклараций PwC до кодексов Telefonica [8:34]. Проблема заключается в том, как превратить эти высокие идеи в конкретные действия внутри организаций.

Вместе с исследователями из Spotify и других компаний Чоудхури подготовила работу о том, как организации могут внедрять ответственный ИИ [10:05]. Она выделяет три фактора, которые делают компанию успешной в этом процессе:

1.  **Понимание статистики:** Осознание того, что результаты ИИ — это вероятности, а не детерминированные истины. Это помогает воспринимать предвзятость (bias) как техническую и математическую проблему, а не магию [14:45].
2.  **Опыт работы с ИИ:** Компании, которые уже прошли этап первых прототипов, лучше понимают риски масштабирования [15:11].
3.  **Регулирование и риск-менеджмент:** Организации с развитыми юридическими отделами и функцией управления рисками (например, в финансовом секторе) легче адаптируются к этическим стандартам ИИ [15:24].

Румман особо отмечает финансовые институты как самых «готовых» клиентов. В этом секторе ещё с 2011 года действует документ SR 11-7 (протокол управления модельными рисками), который по содержанию предвосхитил современные споры об этике данных [17:10].

## 🛡️ Риск против Влияния: выход за рамки юриспруденции
[[JUMP:18:20]]

В индустрии ведется спор о том, не теряется ли суть этики, когда её передают юристам. Чоудхури предлагает переходить от концепции «риска» к концепции «влияния» (impact) [18:48]. 

Аргументы гостьи:

*   **Риск** часто интерпретируется цинично: «как подойти максимально близко к черте, не переступая её» или «как переложить юридическую ответственность на другого» [19:00].
*   **Влияние** — это проактивный подход. Он заставляет компанию думать о социальной ответственности перед окружающей средой, рынком и обществом в целом, даже если риск получить судебный иск минимален [20:07].

## 🧬 Критическая дата-сайенс и междисциплинарность
[[JUMP:24:40]]

Румман Чоудхури предлагает создать новую академическую и практическую дисциплину — **Critical Data Science** [24:40]. По её мнению, поле стало слишком сложным для того, чтобы разработчик сам проводил аудит своей работы. 

Основные тезисы по обучению и структуре команд:

*   **Аудит «красных команд»:** Заимствование практики из кибербезопасности, где независимая группа специалистов проверяет модели на устойчивость и предвзятость [25:19].
*   **Конец эпохи «ниндзя»:** Чоудхури критикует старые вакансии (2015 года), требовавшие 10 лет опыта в ИИ и PhD. Сегодня работа с ИИ — это командный спорт, аналогичный веб-разработке [29:41].
*   **Аналогия с веб-мастерами:** В 90-х один человек (веб-мастер) делал всё — от дизайна до баз данных. Сегодня это огромные команды. С ИИ происходит та же трансформация [31:42].
*   **Проблема «технического эго»:** Гостья отмечает, что многие в Кремниевой долине страдают «технологическим решением» (solutionism) и игнорируют гуманитарные науки, такие как HCI (взаимодействие человека и компьютера) или STS (исследования науки и технологий) [56:39].

## 🎯 Объяснимость и «Иллюзия прозрачности»
[[JUMP:33:22]]

Прозрачность моделей часто путают с понятливостью. Чоудхури приводит пример с пользовательским соглашением (EULA): оно полностью «прозрачно» (текст доступен), но абсолютно не понятно рядовому пользователю [34:58].

Важные аспекты:

*   **Агентность:** Прозрачность бесполезна без возможности на что-то повлиять. Если система распознавания лиц в магазине ошибочно приняла вас за воришку, у вас должна быть форма обжалования, как в случае с живым охранником [36:29].
*   **Технические сложности:** Продвинутые методы проверки «справедливости» моделей (counterfactual fairness) требуют огромных вычислительных мощностей. Например, чтобы проверить, как изменится решение при смене пола субъекта, нужно прогнать тысячи сценариев, что трудно реализуемо для моделей с сотнями переменных [38:14].

## 🚩 «Серые зоны» и моральный выбор
[[JUMP:49:13]]

Accenture провела опрос под названием «Gray Area Survey», чтобы выявить отношение людей к этическим дилеммам, не имеющим однозначного ответа [49:13].

Примеры дилемм:

1.  **Динамическое ценообразование:** Должен ли Uber отключать повышенные тарифы во время паники (например, при угрозе теракта)? В Лондоне Румман сама столкнулась с ситуацией, когда поездка стоила 300 фунтов во время массового бегства людей из-за ложной тревоги [49:39].
2.  **Гендерные стереотипы:** Должен ли поисковик по запросу «CEO» показывать только мужчин за 40, потому что это отражает текущую реальность («истину данных»), или он обязан показывать разнообразие лиц для борьбы со стереотипами [50:19]?

Румман подчеркивает, что технология не нейтральна. Она всегда пропитана ценностями создателей. Например, смартфоны из Купертино не рассчитаны на работу при -30°C, потому что в Калифорнии таких проблем просто не существует [46:08]. Это не злой умысел, а следствие того, что разработчики приватизируют свои приоритеты в коде.

## 🔮 Будущее и детерминизм алгоритмов
[[JUMP:58:26]]

В финале беседы Чоудхури выражает обеспокоенность тем, что рекомендательные системы делают людей «одинаковыми навсегда». Они лишают человека возможности меняться и исследовать новые горизонты, основываясь на прошлом поведении [58:13]. 

Она призывает помнить два правила количественной социологии:

1.  В человеческом поведении существуют закономерности [1:01:04].
2.  Наличие закономерности не означает, что конкретный индивид обязан ей следовать [1:01:04].

По мнению Румман, индустрия ИИ пока игнорирует второе правило, навязывая пользователям детерминистические сценарии жизни.