Исследователь Гарварда о провалах в дизайне систем ИИ

Stanford Online 8,2 тыс. 57 мин 3 мин 19.03.2024
Главное

Будущее взаимодействия человека и ИИ: новые вызовы и дизайн-знания 0:10

Поле взаимодействия человека и искусственного интеллекта (Human-AI Interaction) стремительно развивается, часто опережая возможности научного сообщества по проверке ключевых предположений. В ходе семинара в Стэнфордском университете эксперт из Гарварда представила аналитический обзор того, как мы проектируем системы, где встречаются машинный и человеческий интеллект, и почему многие интуитивно понятные подходы на практике приводят к неожиданным результатам.

🛠️ Наследие адаптивных интерфейсов 5:02

Исторически область Human-AI Interaction возникла из противоречий классического HCI. В конце 1990-х годов шли дебаты между Беном Шнейдерманом (Ben Shneiderman), настаивавшим на прямом манипулировании и контроле, и Пэтти Мэйс (Pattie Maes), выступавшей за проактивных интеллектуальных агентов. Долгое время эти сообщества работали изолированно, но современные реалии требуют объединения усилий.

📝 Влияние предиктивного текста на творчество 10:27

Распространенным допущением было мнение, что предиктивный текст (автодополнение) повышает эффективность ввода, не влияя на суть написанного. Однако эксперименты показали обратное.

  1. Снижение качества: При использовании предиктивного ввода люди чаще выбирают предложенные системой слова вместо собственных, что делает текст более предсказуемым и однообразным.
  2. Эффект упрощения: Автодополнение редко подсказывает прилагательные и наречия, что приводит к написанию более коротких и менее детализированных текстов.
  3. Усиление предвзятости: Если языковая модель обучалась на предвзятом корпусе данных, эта предвзятость напрямую проецируется на содержание отзывов, написанных людьми, которые доверились подсказкам системы.

🧠 ИИ-ассистирование и ловушка доверия 16:07

При разработке объяснимого ИИ (Explainable AI) предполагалось, что предоставление рекомендаций вместе с обоснованием приведет к принятию лучших решений. В реальности всё оказалось сложнее.

🏥 Клинический контекст и «аккомпаниаторы» 31:03

Ко-дизайн исследование с участием врачей выявило, что текущие ИИ-системы часто мешают лечебному процессу, отвлекая внимание клинициста от пациента. Специалисты подчеркивают следующие потребности:

Особую роль в бюрократических процессах (от получения жилья до подачи заявок) играют так называемые «аккомпаниаторы» — посредники, оказывающие моральную и практическую поддержку. По мнению докладчика, ИИ должен помогать не только конечному бенефициару, но и этим посредникам, чтобы вмешательство было эффективным.

⚖️ Algorithmic Recourse: куда целиться? 35:23

Использование контрфактических объяснений («если бы ваш доход был на $10 тыс. выше, вы получили бы кредит») популярно, но ошибочно предполагает, что система понимает все ограничения и стоимость действий для конкретного человека. Исследование показало, что вместо «правильного ответа» пользователям полезнее получать коды причин (reason codes), дающие широкую картину, что позволяет принимать более гибкие и оптимальные решения.

💬 Цитаты

«Мы движемся невероятно быстро, внедряя ИИ туда, где ему никогда не было места.»

Докладчик 04:10

«Люди воспринимают ИИ как компетентного, даже если они не вникают в то, что говорит система.»

Докладчик 20:13
👥 Спикеры
📚 Упомянутые книги
🔗 Упомянутые сайты и проекты
📖 Термины
Human-AI Interaction
Область проектирования интерфейсов для систем, где взаимодействуют человеческий и машинный интеллект.
Cognitive forcing
Техника вмешательства, прерывающая привычный ход мыслей для стимулирования более глубокого анализа.
Counterfactual explanation
Объяснение вида «если бы вы изменили X, результат был бы Y».
Algorithmic recourse
Возможность для человека изменить решение алгоритма (например, получить одобрение кредита после отказа).
📊 Цифры
🗓 Хронология
  1. 1997-1998 Ключевые дебаты о прямом манипулировании против интеллектуальных агентов.
  2. 2000 Начало продуктивного диалога между сообществами AI и HCI.
  3. 2019 Начало активного обсуждения explainable AI (объяснимого ИИ).
⚖️ Другая сторона
Искусственный интеллект Human-AI Interaction Explainable AI Predictive Text Adaptive User Interfaces