В новом выпуске подкаста The TWIML AI Podcast ведущий Сэм Черрингтон беседует с Румман Чоудхури, управляющим директором и глобальным руководителем направления ответственного ИИ в Accenture. Обсуждение охватывает критическую точку перегиба, в которой оказалась индустрия искусственного интеллекта в 2020 году: от теоретических этических принципов компании переходят к реальному внедрению механизмов подотчетности, управления рисками и междисциплинарного анализа.
🎓 Путь от политологии к управлению ИИ 1:26
Румман Чоудхури описывает свою карьеру как «извилистый путь», который идеально подготовил её к текущей роли. Будучи «количественным социологом» (quantitative social scientist), она объединяет в своей работе знания в области политологии, менеджмента и экономики .
Ключевые вехи её биографии:
- 2013 год: Переезд в Кремниевую долину для работы в тогда ещё «странной» области под названием Data Science .
- PhD в UCSD: Чоудхури оставила программу докторантуры по политологии ради карьеры в ИТ, что тогда вызывало недоумение у коллег .
- Опыт в Metis: Преподавание в буткемпе для специалистов по данным, где она фокусировалась на том, как статистика и опросы могут вводить в заблуждение .
- Accenture: В течение последних трех лет она возглавляет направление Responsible AI, создавая практические решения для клиентов .
По словам гостьи, её работа требует использования «всех частей мозга»: навыков Data Science для понимания интерпретируемости моделей и социологического бэкграунда для анализа человеческого поведения и инклюзивной политики данных .
📑 От слов к делу: операционализация этики 8:09
Индустрия ИИ сейчас «тонет в принципах», утверждает Румман. В базе данных проекта Algorithm Watch насчитывается более 150 наборов этических принципов — от деклараций PwC до кодексов Telefonica . Проблема заключается в том, как превратить эти высокие идеи в конкретные действия внутри организаций.
Вместе с исследователями из Spotify и других компаний Чоудхури подготовила работу о том, как организации могут внедрять ответственный ИИ . Она выделяет три фактора, которые делают компанию успешной в этом процессе:
- Понимание статистики: Осознание того, что результаты ИИ — это вероятности, а не детерминированные истины. Это помогает воспринимать предвзятость (bias) как техническую и математическую проблему, а не магию .
- Опыт работы с ИИ: Компании, которые уже прошли этап первых прототипов, лучше понимают риски масштабирования .
- Регулирование и риск-менеджмент: Организации с развитыми юридическими отделами и функцией управления рисками (например, в финансовом секторе) легче адаптируются к этическим стандартам ИИ .
Румман особо отмечает финансовые институты как самых «готовых» клиентов. В этом секторе ещё с 2011 года действует документ SR 11-7 (протокол управления модельными рисками), который по содержанию предвосхитил современные споры об этике данных .
🛡️ Риск против Влияния: выход за рамки юриспруденции 18:20
В индустрии ведется спор о том, не теряется ли суть этики, когда её передают юристам. Чоудхури предлагает переходить от концепции «риска» к концепции «влияния» (impact) .
Аргументы гостьи:
- Риск часто интерпретируется цинично: «как подойти максимально близко к черте, не переступая её» или «как переложить юридическую ответственность на другого» .
- Влияние — это проактивный подход. Он заставляет компанию думать о социальной ответственности перед окружающей средой, рынком и обществом в целом, даже если риск получить судебный иск минимален .
🧬 Критическая дата-сайенс и междисциплинарность 24:40
Румман Чоудхури предлагает создать новую академическую и практическую дисциплину — Critical Data Science . По её мнению, поле стало слишком сложным для того, чтобы разработчик сам проводил аудит своей работы.
Основные тезисы по обучению и структуре команд:
- Аудит «красных команд»: Заимствование практики из кибербезопасности, где независимая группа специалистов проверяет модели на устойчивость и предвзятость .
- Конец эпохи «ниндзя»: Чоудхури критикует старые вакансии (2015 года), требовавшие 10 лет опыта в ИИ и PhD. Сегодня работа с ИИ — это командный спорт, аналогичный веб-разработке .
- Аналогия с веб-мастерами: В 90-х один человек (веб-мастер) делал всё — от дизайна до баз данных. Сегодня это огромные команды. С ИИ происходит та же трансформация .
- Проблема «технического эго»: Гостья отмечает, что многие в Кремниевой долине страдают «технологическим решением» (solutionism) и игнорируют гуманитарные науки, такие как HCI (взаимодействие человека и компьютера) или STS (исследования науки и технологий) .
🎯 Объяснимость и «Иллюзия прозрачности» 33:22
Прозрачность моделей часто путают с понятливостью. Чоудхури приводит пример с пользовательским соглашением (EULA): оно полностью «прозрачно» (текст доступен), но абсолютно не понятно рядовому пользователю .
Важные аспекты:
- Агентность: Прозрачность бесполезна без возможности на что-то повлиять. Если система распознавания лиц в магазине ошибочно приняла вас за воришку, у вас должна быть форма обжалования, как в случае с живым охранником .
- Технические сложности: Продвинутые методы проверки «справедливости» моделей (counterfactual fairness) требуют огромных вычислительных мощностей. Например, чтобы проверить, как изменится решение при смене пола субъекта, нужно прогнать тысячи сценариев, что трудно реализуемо для моделей с сотнями переменных .
🚩 «Серые зоны» и моральный выбор 49:13
Accenture провела опрос под названием «Gray Area Survey», чтобы выявить отношение людей к этическим дилеммам, не имеющим однозначного ответа .
Примеры дилемм:
- Динамическое ценообразование: Должен ли Uber отключать повышенные тарифы во время паники (например, при угрозе теракта)? В Лондоне Румман сама столкнулась с ситуацией, когда поездка стоила 300 фунтов во время массового бегства людей из-за ложной тревоги .
- Гендерные стереотипы: Должен ли поисковик по запросу «CEO» показывать только мужчин за 40, потому что это отражает текущую реальность («истину данных»), или он обязан показывать разнообразие лиц для борьбы со стереотипами ?
Румман подчеркивает, что технология не нейтральна. Она всегда пропитана ценностями создателей. Например, смартфоны из Купертино не рассчитаны на работу при -30°C, потому что в Калифорнии таких проблем просто не существует . Это не злой умысел, а следствие того, что разработчики приватизируют свои приоритеты в коде.
🔮 Будущее и детерминизм алгоритмов 58:26
В финале беседы Чоудхури выражает обеспокоенность тем, что рекомендательные системы делают людей «одинаковыми навсегда». Они лишают человека возможности меняться и исследовать новые горизонты, основываясь на прошлом поведении .
Она призывает помнить два правила количественной социологии:
- В человеческом поведении существуют закономерности .
- Наличие закономерности не означает, что конкретный индивид обязан ей следовать .
По мнению Румман, индустрия ИИ пока игнорирует второе правило, навязывая пользователям детерминистические сценарии жизни.
