# Сандра Вахтер: «GDPR не защищает от того, что ИИ узнает о ваших болезнях без вашего ведома»

Источник: https://www.youtube.com/watch?v=trECnTC7XN0
Канал: The TWIML AI Podcast
Опубликовано: 23.09.2021

---

В новом эпизоде The TWIML AI Podcast ведущий обсудил с профессором Оксфорда Сандрой Вахтер критические точки соприкосновения искусственного интеллекта и правового поля. Основное внимание в беседе было уделено тому, как алгоритмические решения сталкиваются с пробелами в законодательстве о защите данных и принципах недискриминации.

## 🎓 Академический путь и фокус исследований
[[JUMP:00:26]]

Сандра Вахтер (Sandra Wachter) — профессиональный юрист со степенью PhD и специализацией в области медицинского права [01:45]. Её интерес к технологиям начался с медицинских устройств (Health Tech), которые наглядно демонстрируют пользу инноваций для общества [00:50]. В дальнейшем её исследования расширились на все типы алгоритмических систем.

На текущий момент Сандра Вахтер выделяет три главных столпа своих исследований в области ИИ:

1.  **Проблема «черного ящика»** — отсутствие прозрачности в механизмах принятия решений.
2.  **Защита данных** — неспособность текущего законодательства (включая GDPR) справиться с аналитическими выводами ИИ.
3.  **Предвзятость (Bias)** — автоматизация и закрепление человеческих предубеждений в коде.

По мнению эксперта, эти проблемы универсальны: они возникают в любой стране (США, Европа, Новая Зеландия) и в любом секторе — от банковского дела до здравоохранения и тюремного надзора [03:20].

## 📦 Решение проблемы «черного ящика»: контрфактуальные объяснения
[[JUMP:06:12]]

Сандра Вахтер отмечает, что часто компании не объясняют работу алгоритмов по двум причинам: либо они не хотят этого (защита коммерческой тайны), либо не могут (даже разработчики не всегда знают, почему нейросеть пришла к конкретному выводу) [08:00].

Вместо того чтобы требовать раскрытия полного исходного кода, которое бесполезно для обычного человека, Вахтер совместно с Брентом Миттельштадтом (Brent Mittelstadt) и Крисом Расселом (Chris Russell) предложила концепцию **контрфактуальных объяснений (Counterfactual Explanations)** [09:35].

Основные принципы этого подхода:

*   **Фокус на пользователе:** человеку не нужен код, ему нужно знать, что изменить для получения другого результата [10:30].
*   **Минимальные изменения:** система сообщает минимальный набор параметров, который привел бы к одобрению (например: «Если бы ваш доход был на £5,000 выше, вы бы получили кредит») [11:10].
*   **Вариативность:** ИИ может предложить несколько путей (исправить опечатки в резюме ИЛИ получить еще одну рекомендацию), а пользователь сам выбирает достижимый путь [13:35].

Этот метод был реализован в TensorFlow и Google Cloud, а также внедрен такими компаниями, как Vodafone [12:00].

## 🛡️ Право на обоснованные выводы (Inferences)
[[JUMP:14:26]]

Одной из самых острых тем стала неадекватность современных законов о защите данных. Сандра Вахтер утверждает, что такие нормы, как GDPR, до сих пор опираются на концепцию «назойливого соседа» из XX века: они защищают личное пространство от прямого сбора данных (input), но игнорируют то, что ИИ может вычислить на выходе (output) [18:24].

**Факты о возможностях современных алгоритмов:**

*   **Microsoft Bing:** по анализу движений компьютерной мыши может предсказать наличие болезни Альцгеймера [15:47].
*   **Twitter:** способен определить депрессию по текстам постов [15:59].
*   **Facebook:** вычисляет сексуальную ориентацию, этническую принадлежность и политические взгляды пользователя, даже если он их не указывал [16:27].

По словам Вахтер, рекламодатели используют эти выводы для дискриминации. Например, в США алгоритмы исключали темнокожих пользователей из показов объявлений о работе или жилье [17:08]. Проблема в том, что закон защищает процесс передачи данных (вы даете согласие на сбор информации о покупке мороженого), но не защищает от выводов, которые ИИ строит на этой основе (прогноз диабета через 10 лет) [19:42]. Для детального обоснования этой проблемы Сандра написала работу объемом 150 страниц под названием «A Right to Reasonable Inferences» [17:58].

## ⚖️ Тестирование предвзятости: Тест CDD
[[JUMP:30:28]]

Поскольку ИИ обучается на исторических данных, он неизбежно наследует человеческие предрассудки [31:32]. Вахтер подчеркивает, что традиционное право не работает здесь, так как оно основано на интуиции судьи, а алгоритмы дискриминируют «за спиной» пользователя [34:21].

В ответ на это Сандра Вахтер разработала **тест CDD (Conditional Demographic Disparity — Условное демографическое различие)** [36:34].

Ключевые отличия методик:

1.  **Сохраняющие предвзятость (Bias Preserving):** 13 из 20 существующих тестов просто следят, чтобы уровень ошибок был одинаковым для всех групп [38:45]. Они фиксируют текущее неравенство как статус-кво.
2.  **Трансформирующие предвзятость (Bias Transforming):** К ним относится CDD. Они стремятся к равенству результатов (Substantive Equality), что соответствует европейскому праву [40:50].

Тест CDD стал частью инструментария **Amazon SageMaker Clarify** в начале 2022 года [37:14]. Он работает как система раннего оповещения, заставляя разработчиков обосновывать критерии. Например, если доход является прокси-переменной для расы или пола, разработчик должен доказать целесообразность его использования, несмотря на создаваемое неравенство [46:13].

## 🔮 Будущее регулирования в Европе
[[JUMP:49:07]]

Сандра Вахтер считает, что эпоха простых этических деклараций (которых уже насчитывается более 150) прошла [27:37]. Сейчас наступает этап жесткого регулирования. В фокусе её дальнейших исследований — грядущий **EU AI Act**, первая попытка создать всеобъемлющую правовую базу для ИИ [49:34]. 

Она планирует исследовать влияние этой регуляции на три ключевые области:

*   Здравоохранение;
*   Образование;
*   Финансовые услуги [50:12].

По словам профессора, ключевой задачей для общества остается открытая дискуссия о том, какой уровень неравенства допустим и какие критерии отбора считаются справедливыми в эпоху больших данных [48:01].