Искусство адаптироваться: как менять поведение через эксперименты 0:05
В современной цифровой среде любая точка взаимодействия с пользователем — от текста письма до объяснения концепции на сайте — может стать инструментом для изменения поведения. Джозеф Джей Уильямс, приглашенный лектор из Stanford University, представил концепцию «адаптивных вмешательств» (intelligent interventions), способных сделать из привычных интерфейсов «микролаборатории» для постоянного обучения и улучшения пользовательского опыта. Главная цель исследовательской программы Уильямса — к 2034 году создать системы персональных ИИ-коучей, которые измеримо помогают людям в обучении, борьбе со стрессом и поддержании здоровых привычек.
🛠 Адаптивные инструменты: от почты до веба 2:27
Фундамент подхода Уильямса — фреймворк AdapComp. Его задача — превратить статические элементы интерфейса в динамические инструменты, которые постоянно тестируют различные идеи.
- Crowdsourcing и LLM: Для создания контента (например, сообщений с советами) привлекаются как люди, так и языковые модели (LLM). Система генерирует десятки вариантов, чтобы определить, какой из них лучше подходит конкретному человеку в конкретный момент.
- Qualitative A/B testing: Традиционное A/B-тестирование требует огромных выборок, что недоступно для большинства. Уильямс предлагает качественные А/В-сравнения, где можно тестировать идеи даже в личной переписке, опираясь на интуицию и структурированный анализ альтернатив.
- ABScribe: Инструмент, позволяющий пользователю самому выбирать части текста (например, в email) и превращать их в AdapComp-блоки для тестирования разных версий фразировки.
По словам исследователя, такой подход не просто формальная статистика, а развитие привычки принимать решения осознанно, взвешивая альтернативы.
📈 Проблема принятия решений: почему «лучшее» не всегда верно 12:00
Люди склонны к двоичному мышлению: мы либо отправляем одно «идеальное» сообщение всем (100% уверенности), либо тестируем два варианта 50/50, не имея гипотез. Уильямс утверждает, что правильнее использовать взвешенную рандомизацию: если мы уверены в успехе одного варианта на 70%, стоит показывать его 70% аудитории.
- Статистические меньшинства: Исследователь продемонстрировал, что оптимизация «под среднее» может быть вредна. В одном из экспериментов с обучением сообщение, которое работало лучше для 80% студентов (высокие результаты), оказывалось проигрышным для 20% (статистическое меньшинство). Использование контекстуальных бандитов позволяет подбирать вмешательства индивидуально, повышая эффективность обучения для всех групп.
🧠 Алгоритмы: за пределами простого Thompson Sampling 30:40
В своей работе Уильямс фокусируется на алгоритмах обучения с подкреплением, в частности на Thompson Sampling (метод вероятностного сопоставления). Однако он отмечает, что стандартный Thompson Sampling не лишен проблем: он может завышать вероятность успеха одного варианта и приводить к высокой доле ложноположительных результатов.
Для решения этих проблем лектор предлагает:
- Epsilon-Thompson Sampling: С заданной вероятностью ($\epsilon$) алгоритм проводит равномерную рандомизацию (uniform random), что защищает от ошибок при изменении контекста.
- TS-Postdiff: Адаптивная версия, где значение $\epsilon$ меняется в зависимости от уверенности алгоритма в разнице между вариантами.
- Algorithm-attuned analysis: Анализ данных должен учитывать, какой именно алгоритм использовался для их сбора. Это позволяет сохранять фиксированный уровень ложноположительных результатов (5%) при высокой статистической мощности.
🚀 Зачем нам это нужно? 27:50
Джозеф Джей Уильямс убежден: математика наиболее красива, когда она помогает решать реальные человеческие проблемы. «Даже пять человек, которым не пришлось участвовать в вашем эксперименте благодаря более эффективным алгоритмам — это успех», — подчеркивает ученый. Он призывает студентов не просто строить красивые модели, а создавать интерфейсы, которые делают мощные инструменты адаптивного тестирования доступными для 8 миллиардов человек.
