# Джозеф Уильямс о будущем ИИ-коучинга: «Сделать из человека экспериментатора»

Источник: https://www.youtube.com/watch?v=HFrCySzH9QI
Канал: Stanford Online
Опубликовано: 21.11.2024

---

## Искусство адаптироваться: как менять поведение через эксперименты
[[JUMP:0:05]]

В современной цифровой среде любая точка взаимодействия с пользователем — от текста письма до объяснения концепции на сайте — может стать инструментом для изменения поведения. Джозеф Джей Уильямс, приглашенный лектор из Stanford University, представил концепцию «адаптивных вмешательств» (intelligent interventions), способных сделать из привычных интерфейсов «микролаборатории» для постоянного обучения и улучшения пользовательского опыта. Главная цель исследовательской программы Уильямса — к 2034 году создать системы персональных ИИ-коучей, которые измеримо помогают людям в обучении, борьбе со стрессом и поддержании здоровых привычек.

### 🛠 Адаптивные инструменты: от почты до веба
[[JUMP:2:27]]

Фундамент подхода Уильямса — фреймворк **AdapComp**. Его задача — превратить статические элементы интерфейса в динамические инструменты, которые постоянно тестируют различные идеи.

*   **Crowdsourcing и LLM:** Для создания контента (например, сообщений с советами) привлекаются как люди, так и языковые модели (LLM). Система генерирует десятки вариантов, чтобы определить, какой из них лучше подходит конкретному человеку в конкретный момент.
*   **Qualitative A/B testing:** Традиционное A/B-тестирование требует огромных выборок, что недоступно для большинства. Уильямс предлагает качественные А/В-сравнения, где можно тестировать идеи даже в личной переписке, опираясь на интуицию и структурированный анализ альтернатив.
*   **ABScribe:** Инструмент, позволяющий пользователю самому выбирать части текста (например, в email) и превращать их в AdapComp-блоки для тестирования разных версий фразировки.

По словам исследователя, такой подход не просто формальная статистика, а развитие привычки принимать решения осознанно, взвешивая альтернативы.

### 📈 Проблема принятия решений: почему «лучшее» не всегда верно
[[JUMP:12:00]]

Люди склонны к двоичному мышлению: мы либо отправляем одно «идеальное» сообщение всем (100% уверенности), либо тестируем два варианта 50/50, не имея гипотез. Уильямс утверждает, что правильнее использовать **взвешенную рандомизацию**: если мы уверены в успехе одного варианта на 70%, стоит показывать его 70% аудитории.

*   **Статистические меньшинства:** Исследователь продемонстрировал, что оптимизация «под среднее» может быть вредна. В одном из экспериментов с обучением сообщение, которое работало лучше для 80% студентов (высокие результаты), оказывалось проигрышным для 20% (статистическое меньшинство). Использование контекстуальных бандитов позволяет подбирать вмешательства индивидуально, повышая эффективность обучения для всех групп.

### 🧠 Алгоритмы: за пределами простого Thompson Sampling
[[JUMP:30:40]]

В своей работе Уильямс фокусируется на алгоритмах обучения с подкреплением, в частности на **Thompson Sampling** (метод вероятностного сопоставления). Однако он отмечает, что стандартный Thompson Sampling не лишен проблем: он может завышать вероятность успеха одного варианта и приводить к высокой доле ложноположительных результатов.

Для решения этих проблем лектор предлагает:

1.  **Epsilon-Thompson Sampling:** С заданной вероятностью ($\epsilon$) алгоритм проводит равномерную рандомизацию (uniform random), что защищает от ошибок при изменении контекста.
2.  **TS-Postdiff:** Адаптивная версия, где значение $\epsilon$ меняется в зависимости от уверенности алгоритма в разнице между вариантами.
3.  **Algorithm-attuned analysis:** Анализ данных должен учитывать, какой именно алгоритм использовался для их сбора. Это позволяет сохранять фиксированный уровень ложноположительных результатов (5%) при высокой статистической мощности.

### 🚀 Зачем нам это нужно?
[[JUMP:27:50]]

Джозеф Джей Уильямс убежден: математика наиболее красива, когда она помогает решать реальные человеческие проблемы. «Даже пять человек, которым не пришлось участвовать в вашем эксперименте благодаря более эффективным алгоритмам — это успех», — подчеркивает ученый. Он призывает студентов не просто строить красивые модели, а создавать интерфейсы, которые делают мощные инструменты адаптивного тестирования доступными для 8 миллиардов человек.