Внутри «черного ящика»: как Microsoft борется с предвзятостью алгоритмов и создает объяснимый ИИ

a16z (Andreessen Horowitz) 11,2 тыс. 16 мин 6 мин 16.01.2020
Главное

Технологический прорыв в области искусственного интеллекта вплотную приблизил машины к возможностям человеческого восприятия, однако вместе с высокой точностью пришли новые фундаментальные вызовы. На мероприятии венчурного фонда a16z представитель Microsoft Research подробно разобрал текущие успехи нейросетей, феномен эмоционального ИИ, а также критические проблемы предвзятости данных и назревшую необходимость создания «объяснимого ИИ». Главный тезис дискуссии заключается в том, что человечество не должно слепо доверять решениям сложных «черных ящиков», способных напрямую влиять на повседневную жизнь и безопасность общества.

🚀 От распознавания образов до «человеческого паритета» 0:00

Современный искусственный интеллект стремительно приближается к так называемому «человеческому паритету» (human parity) в решении целого ряда задач, связанных с восприятием: от компьютерного зрения до распознавания устной речи и обработки естественного языка. Развитие этих технологий демонстрирует экспоненциальный рост эффективности базовых архитектур.

В области распознавания объектов ключевой вехой стало создание глубокой нейросети ResNet, разработанной студентами в пекинской исследовательской лаборатории Microsoft Research. Модификация сети, состоящая из 152 слоев, позволила добиться рекордного показателя точности в 96% на базе данных ImageNet. По оценке спикера, этот результат как минимум не уступает возможностям выпускника Стэнфордского университета, выполняющего аналогичную задачу по классификации и распознаванию изображений.

Аналогичный прорыв зафиксирован и в сфере распознавания речи. При тестировании алгоритмов на стандартном датасете Switchboard, содержащем записи телефонных разговоров, разработчикам удалось снизить уровень ошибок (error rate) до 5,1%. Для сравнения:

Спикер иронично заметил, что многие могут не осознавать столь высокий процент собственных ошибок, пока не вернутся домой и не попытаются поговорить со своим супругом.

Параллельно фиксируются успехи в понимании прочитанного текста (на основе стэнфордского датасета SQuAD) и в машинном переводе. В частности, точность двустороннего перевода в паре английский-китайский языки на платформе New Scholars достигла 69,9%. Все эти вехи заложили фундамент для перехода к полноценному разговорному ИИ.

🤖 Эмоциональный интеллект (EQ) и чат-боты в ритейле 2:29

Успехи в базовом восприятии позволили Microsoft развернуть масштабные социальные проекты, главным из которых стал чат-бот Xiaoice, запущенный в Китае и Японии. На текущий момент платформа насчитывает 120 миллионов ежемесячно активных пользователей (MAU). Феномен Xiaoice вышел далеко за рамки привычного ИИ: она ведет 60 телевизионных программ и радиошоу, пишет музыку, поет, сочиняет стихи и даже выпустила собственную книгу, к которой спикер лично написал предисловие. Более того, под псевдонимом Xiaoice успешно защитила магистерскую диссертацию в Центральной академии изящных искусств Китая.

Секрет популярности проекта кроется в изменении парадигмы проектирования. В то время как традиционные цифровые ассистенты развивают исключительно IQ для выполнения утилитарных команд, Xiaoice создавалась с упором на эмоциональный интеллект (EQ) — эмпатию, социальные навыки и понимание человеческих чувств.

Это кардинально меняет метрику удержания аудитории (CPS — количество реплик за одну сессию):

Бизнес-потенциал систем с высоким EQ был доказан в ходе совместного эксперимента со второй по величине розничной сетью в Японии — Lawson. Разработчики создали Akiko — онлайн-персону бренда Lawson, работающую на технологиях ИИ от Microsoft. Акiko не просто общалась с японскими пользователями, но и проводила опросы, рекомендовала товары и распределяла скидочные купоны.

Результаты эксперимента оказались беспрецедентными для индустрии:

Помимо ритейла, подобные технологии автоматизации активно проникают в финансовый сектор. Сегодня алгоритмы Microsoft генерируют порядка 90% всех квартальных финансовых отчетов для китайских компаний.

⚖️ Проблема предвзятости ИИ: когда алгоритмы становятся сексистами 6:10

Обратной стороной использования гигантских объемов данных в моделях глубокого обучения стало проявление системных ошибок. Спикер напомнил о недавнем резонансном инциденте в соцсетях, когда создатель фреймворка Ruby on Rails Давид Хейнемейер Ханссон (DHH) обвинил в предвзятости алгоритм выпуска карт Apple Card, разработанный совместно с Goldman Sachs. По мнению представителя Microsoft, в подобных кредитных системах действительно часто скрывается неосознанная предвзятость (AI bias), требующая прозрачных объяснений алгоритмических решений.

Для демонстрации масштаба проблемы Microsoft совместно с журналистами NPR провела исследование, вылившееся в статью «Он блестящий, она прекрасная: как научить компьютеры быть менее сексистскими». Исследователи обучили систему классификации профессий на базе 27 должностей. Когда в систему загрузили биографию реального филантропа (данной профессии не было в обучающей выборке), алгоритм вполне логично определил человека как «учителя». Однако стоило в тексте заменить местоимения «она/ее» на «он/его», оставив весь остальной контекст неизменным, как ИИ мгновенно переквалифицировал профиль.

Причина подобного искажения кроется в фундаментальном математическом принципе обработки естественного языка — векторном представлении слов (word embedding). В многомерной геометрии смысловые связи строятся на основе близости и параллелизма векторов. К примеру, пары векторов «Apple — Купертино» и «Microsoft — Редмонд» коррелируют между собой так же, как «Стив Джобс» и «Билл Гейтс».

Однако при анализе гендерных векторов на массиве данных, собранных из интернета (в эксперименте использовался открытый датасет Google), обнаружились пугающие закономерности:

Поскольку данные собираются из открытой сети, они изначально содержат в себе все исторические и социальные предвзятости человечества. Спикер подчеркнул: если слепо обучать ИИ на неочищенных интернет-данных, мы гарантированно масштабируем дискриминацию. Одним из путей решения, предложенных в отмеченной наградами научной работе Microsoft Research, является принудительное «сплющивание» гендерной вертикальной оси в векторном пространстве, чтобы нейтральные характеристики (например, умственные способности) распределялись между полами строго поровну.

🔍 Борьба с «черным ящиком»: почему нам нужен объяснимый ИИ 12:18

Второй критической проблемой индустрии является отсутствие прозрачности. Современные ИИ-модели оперируют миллионами и даже триллионами параметров, превращаясь для человека в абсолютный «черный ящик» (black box). Спикер выделил три фундаментальные причины, почему ИИ обязан стать объяснимым (Explainable AI):

  1. Усиление человеческих возможностей (Augmenting human). ИИ — это инструмент. Чтобы эффективно использовать его для расширения потенциала специалистов, человек должен понимать логику его подсказок.
  2. Доверие и безопасность. Ошибка в рекомендациях фильмов на Netflix безвредна, но алгоритмические решения в сфере политической рекламы в соцсетях, медицинской диагностики или военных операций могут стать фатальными и разрушительными.
  3. Развитие систем разработчиками. Инженерам необходимо глубоко анализировать («кликнуть дважды») структуру модели, чтобы локализовать ошибку, понять, на каком сегменте данных она произошла и откуда взялась предвзятость.

Вектор развития современных исследований ИИ наглядно иллюстрирует компромисс между точностью и объяснимостью моделей. Традиционная логистическая регрессия проста и понятна человеку, но обладает низкой точностью. Напротив, глубокие нейросети демонстрируют максимальную эффективность, но совершенно не поддаются линейной интерпретации.

Сегодня в мировой науке сформировались два направления решения этой дилеммы:

Нынешнее поколение людей — первое в истории, которому предстоит жить бок о бок с искусственным интеллектом. По мнению спикера, коммерческие перспективы технологии безграничны, однако на разработчиках лежит колоссальная социальная ответственность. Общество не должно принимать будущее, в котором ключевые решения принимаются алгоритмами, чью логику человек не способен ни объяснить, ни понять.

💬 Цитаты

«Мы собираемся стать первым поколением людей, которым когда-либо доведется жить вместе с ИИ. Я вижу огромные бизнес-возможности, но также считаю, что у нас есть колоссальная социальная ответственность.»

Гарри Шум 15:39

«Мы не можем принять будущее, в котором ИИ принимает решения, которые мы не можем объяснить и не можем понять.»

Гарри Шум 16:06
👥 Спикер
🔗 Упомянутые сайты и проекты
📖 Термины
Человеческий паритет (Human parity)
Уровень развития ИИ, при котором точность выполнения задачи машиной официально сравнивается с показателями человека или превосходит их.
Векторное представление слов (Word embedding)
Технология перевода слов в числовые векторы многомерного пространства, где близкие по смыслу слова оказываются рядом.
Объяснимый ИИ (Explainable AI / XAI)
Направление в разработке ИИ, нацеленное на создание методов, позволяющих человеку понять и проследить логику принятия решений сложными моделями.
Модель «Черного ящика» (Black box model)
Система ИИ, которая выдает точные результаты, но внутренние механизмы принятия решений и миллиарды параметров которой скрыты от человеческого понимания.
📊 Цифры
⚖️ Другая сторона
Искусственный интеллект Microsoft Research Xiaoice ResNet Explainable AI