# Исследователь Гарварда о провалах в дизайне систем ИИ Источник: https://www.youtube.com/watch?v=JybLJiJpKS0 Канал: Stanford Online Опубликовано: 19.03.2024 --- ## Будущее взаимодействия человека и ИИ: новые вызовы и дизайн-знания [[JUMP:00:10]] Поле взаимодействия человека и искусственного интеллекта (Human-AI Interaction) стремительно развивается, часто опережая возможности научного сообщества по проверке ключевых предположений. В ходе семинара в Стэнфордском университете эксперт из Гарварда представила аналитический обзор того, как мы проектируем системы, где встречаются машинный и человеческий интеллект, и почему многие интуитивно понятные подходы на практике приводят к неожиданным результатам. ### 🛠️ Наследие адаптивных интерфейсов [[JUMP:05:02]] Исторически область Human-AI Interaction возникла из противоречий классического HCI. В конце 1990-х годов шли дебаты между Беном Шнейдерманом (Ben Shneiderman), настаивавшим на прямом манипулировании и контроле, и Пэтти Мэйс (Pattie Maes), выступавшей за проактивных интеллектуальных агентов. Долгое время эти сообщества работали изолированно, но современные реалии требуют объединения усилий. * **Адаптивные меню:** Одной из попыток внедрения ИИ стали «умные меню» Microsoft, скрывавшие редко используемые функции. Проект был заброшен, так как примерно половина пользователей находила его неудобным. * **Сплит-интерфейсы:** Исследования показали, что вместо полной замены привычных действий ИИ должен предлагать альтернативу. Это позволяет пользователю выбирать: работать по старинке или перейти на «автопилот». * **Цена ошибки:** Важным уроком стало открытие когнитивного искажения «неприятия потерь» (loss aversion) — пользователи крайне болезненно воспринимают ошибки ИИ и почти не ценят его успехи, что требует от разработчиков создания систем с «огромным» перевесом пользы над потенциальными издержками. ### 📝 Влияние предиктивного текста на творчество [[JUMP:10:27]] Распространенным допущением было мнение, что предиктивный текст (автодополнение) повышает эффективность ввода, не влияя на суть написанного. Однако эксперименты показали обратное. 1. **Снижение качества:** При использовании предиктивного ввода люди чаще выбирают предложенные системой слова вместо собственных, что делает текст более предсказуемым и однообразным. 2. **Эффект упрощения:** Автодополнение редко подсказывает прилагательные и наречия, что приводит к написанию более коротких и менее детализированных текстов. 3. **Усиление предвзятости:** Если языковая модель обучалась на предвзятом корпусе данных, эта предвзятость напрямую проецируется на содержание отзывов, написанных людьми, которые доверились подсказкам системы. ### 🧠 ИИ-ассистирование и ловушка доверия [[JUMP:16:07]] При разработке объяснимого ИИ (Explainable AI) предполагалось, что предоставление рекомендаций вместе с обоснованием приведет к принятию лучших решений. В реальности всё оказалось сложнее. * **Феномен сверхожидания (overreliance):** Люди склонны переоценивать компетентность ИИ, если видят «объяснения» (часто состоящие из множества конкретных фактов), и перестают критически оценивать содержание. * **Когнитивное принуждение:** Попытки исправить ситуацию путем принуждения пользователей делать выбор *до* того, как они увидят подсказку системы, показали лишь частичную эффективность в снижении зависимости, но не способствовали более глубокому вовлечению или обучению. * **Контрастивные объяснения:** Единственным эффективным подходом оказалось предоставление информации, которая требует от пользователя совершения небольшого «когнитивного скачка» для получения ответа, что стимулирует реальное обучение. ### 🏥 Клинический контекст и «аккомпаниаторы» [[JUMP:31:03]] Ко-дизайн исследование с участием врачей выявило, что текущие ИИ-системы часто мешают лечебному процессу, отвлекая внимание клинициста от пациента. Специалисты подчеркивают следующие потребности: * Поддержка совместного принятия решений, а не выдача готового вердикта. * Возможность «что-если» моделирования (как изменение ситуации с пациентом влияет на варианты лечения). * Акцент на контрастных объяснениях только в случаях отклонения от клинических протоколов. Особую роль в бюрократических процессах (от получения жилья до подачи заявок) играют так называемые «аккомпаниаторы» — посредники, оказывающие моральную и практическую поддержку. По мнению докладчика, ИИ должен помогать не только конечному бенефициару, но и этим посредникам, чтобы вмешательство было эффективным. ### ⚖️ Algorithmic Recourse: куда целиться? [[JUMP:35:23]] Использование контрфактических объяснений («если бы ваш доход был на $10 тыс. выше, вы получили бы кредит») популярно, но ошибочно предполагает, что система понимает все ограничения и стоимость действий для конкретного человека. Исследование показало, что вместо «правильного ответа» пользователям полезнее получать коды причин (reason codes), дающие широкую картину, что позволяет принимать более гибкие и оптимальные решения.