На прошедшей конференции NeurIPS профессор психологии и философии Калифорнийского университета в Беркли Элисон Гопник представила доклад, посвященный механизмам причинно-следственного (каузального) обучения у детей и их применимости в сфере искусственного интеллекта. В интервью для подкаста TWIML AI она подробно рассказала, как современные мейнстримные модели глубокого обучения сталкиваются с фундаментальными ограничениями, которые обычные трехлетние дети преодолевают без видимых усилий. Исследования каузальных моделей в детской психологии открывают новые горизонты для создания ИИ-систем следующего поколения, способных эффективно обучаться на малых объемах данных.
🧠 Эпистемология детства: от философии к машинному обучению 0:01
Элисон Гопник совмещает работу на стыке трех направлений в Беркли: она является профессором факультета психологии, аффилированным сотрудником философского факультета и участником исследовательской группы по изучению ИИ (Berkeley AI Research group — BAIR). На протяжении всей карьеры её главным научным стимулом оставался фундаментальный вопрос эпистемологии: как человек умудряется узнавать так много об окружающем мире, располагая столь ничтожным объемом входящей информации? Фактически, все наши знания строятся лишь на улавливании фотонов сетчаткой глаза и колебаний воздуха барабанными перепонками, но из этого хаотичного шума люди умудряются выводить концепции объектов, мыслей, идей, кварков и черных дыр.
Эта классическая философская загадка сегодня превратилась в центральную проблему машинного обучения: как из сырых данных извлекать абстрактные, структурированные репрезентации мира, позволяющие строить точные обобщения и прогнозы? По мнению Элисон Гопник, наиболее эффективно эту задачу решают не суперкомпьютеры и не доктора наук, а маленькие дети в возрасте двух-четырех лет. Именно поэтому в последние годы в индустрии ИИ наблюдается взрывной интерес к процессам детского развития. Разработчики осознали: вместо того чтобы пытаться запрограммировать готовые жесткие структуры, необходимо создавать гибкие самообучающиеся системы, а лучшие природные образцы таких систем — это дети.
🔗 Причинно-следственные связи и «теория-теория» 3:57
Одним из ключевых инструментов человеческого мышления для структурирования реальности является понимание каузальности — механизмов того, что и почему заставляет события происходить. Ранние работы Элисон Гопник легли в основу так называемой «теории-теории» (theory theory). Согласно этой концепции, дети формируют свои повседневные представления о мире точно так же, как ученые строят научные теории.
Наличие каузальной модели дает колоссальное преимущество — оно позволяет решать задачи обобщения вне распределения (out-of-distribution generalization). Гостья приводит наглядный пример: понимая каузальный механизм действия вакцины, ученые могут предсказать результат её модификации, даже если они никогда не проводили подобный эксперимент физически. Каузальное мышление универсально: оно одинаково применимо к физическим объектам, социальному взаимодействию и совершенно незнакомым явлениям.
Главное отличие каузального анализа от выявления простых корреляций (чем в основном и занимаются современные нейросети) заключается в возможности совершать интервенции (активные вмешательства) и строить контрфактуальные суждения. Элисон Гопник иллюстрирует это классическим примером с курением:
- Корреляция: Курение статистически связано с пожелтением пальцев и раком легких.
- Интервенция (вмешательство): Мы понимаем, что если просто отмыть желтизну с пальцев, это не снизит риск рака. Но если заставить человека бросить курить (интервенция), вероятность болезни упадет.
- Контрфактуальное суждение: Мы можем оглянуться в прошлое и заявить: «Если бы антитабачные программы начались раньше, мы бы спасли больше жизней».
В начале 2000-х годов такие математики и философы науки, как Кларк Глимур и Питер Спиртес из Университета Карнеги — Меллона (CMU), а также Джуда Перл из Калифорнийского университета в Лос-Анджелесе (UCLA), разработали формальные вычислительные модели для описания каузальности — каузальные байесовские сети и вероятностные графические модели. Эксперименты Элисон Гопник и её коллег преподнесли научному сообществу сюрприз: оказалось, что дети в возрасте двух, трех и четырех лет превосходно умеют выводить каузальные байесовские сети из паттернов условных вероятностей.
⚔️ Альтернативные взгляды и проверка гипотез 8:34
Исторически в когнитивных науках существовали две альтернативы «теории-теории», которые до сих пор активно обсуждаются в контексте ИИ:
- Эмпиризм (в духе Платона и Аристотеля): Предположение, что у человека нет никаких абстрактных репрезентаций, а видимость их наличия — это лишь результат накопления колоссального объема статистических данных и наблюдений.
- Нативизм: Мнение, что базовые репрезентации и индуктивные ограничения (например, врожденное понимание основ физики или психологии) заложены в мозг эволюцией изначально, и обучаться им с нуля не нужно.
Исследования Гопник показывают, что истина лежит посередине, опровергая обе радикальные позиции. С одной стороны, даже у младенцев обнаруживаются сложные абстрактные модели мира, что противоречит чистому эмпиризму. С другой стороны, эти модели не являются жестко вшитыми: трех- и четырехлетние дети радикально меняют свои представления под воздействием нового опыта, действуя как динамические обучающиеся системы. Ярким подтверждением этому стали её работы 1980-х годов по изучению «модели психического человека» (Theory of Mind) — способности детей понимать и предсказывать ментальные состояния других людей.
Для тестирования каузального мышления у маленьких детей, которые еще не понимают словесных формулировок условной вероятности, команда Гопник разработала специальный аппарат — «бликет-детектор» (blicket detector). Это небольшая коробка, которая светится и играет музыку, когда на нее помещают определенные предметы («бликеты»). Детям предлагают определить правила работы механизма и запустить его самостоятельно. Анализируя действия малышей, исследователи зафиксировали: дети ведут себя как идеальные байесовские тестировщики гипотез, безошибочно выбирая варианты с наивысшей апостериорной вероятностью.
🔬 Активное обучение и детская лаборатория 12:01
Главная вычислительная сложность байесовского вывода и вероятностных генеративных моделей заключается в том, что при наличии даже четырех-пяти потенциальных причин пространство поиска вариантов (search space) разрастается до гигантских масштабов. Как ограничить этот поиск? Решением, по мнению Гопник, выступает активное обучение (active learning) посредством направленного экспериментирования.
Во время академического отпуска в Институте ИИ в Монреале (MILA) под руководством Йошуа Бенжио Элисон наблюдала за своим годовалым внуком. Она заметила, что вся бодрствующая жизнь ребенка — это один сплошной контролируемый эксперимент. Он стучит ложкой по кастрюле, переворачивает ее, пытается засунуть ложку в розетку. С точки зрения стороннего наблюдателя это выглядит как хаотичный расход энергии, но с позиции теории вычислений ребенок действует как высокоэффективный каузальный движок.
В рамках коллаборации между Беркли, MILA и Google DeepMind исследователи воссоздали виртуальный аналог «бликет-детектора», чтобы сравнить действия детей с популярными алгоритмами ИИ. Результаты показали следующее:
- Классическое обучение с подкреплением (RL): Действует неэффективно в роли экспериментатора, так как его цель — максимизировать известную награду, а не искать скрытые каузальные цепочки.
- Алгоритмы на основе любопытства (curiosity-based algorithms): Разработанные исследователями из Беркли (Дипак Патхак, Пулкит Агравал и др.), эти системы гораздо ближе к детскому поведению. Они стремятся строить прогнозы, намеренно искать ситуации, где прогнозы нарушаются, и активно исследовать среду.
Ученые сходятся во мнении, что целевой функцией (objective function) для таких систем должна выступать не сиюминутная максимизация очков, а прирост информации (information gain) или удовлетворение любопытства.
🌡️ Имитация отжига: детство как эволюционное решение 17:42
По мере взросления каузальные модели детей усложняются. В совместных работах с Томом Гриффитсом (Принстон) и Крисом Лукасом (Эдинбург) Гопник доказала, что трех-четырехлетние дети способны выводить мета-гипотезы (over-hypotheses) о свойствах систем: они легко понимают, является ли каузальный механизм детерминированным или стохастическим, работает ли он на конъюнктивной логике (когда для запуска нужны два элемента одновременно) или на дизъюнктивной (когда элементы работают независимо).
Что примечательно, в тестах на понимание необычных, нестандартных каузальных структур дети стабильно превосходят взрослых. Взрослые полагаются на свои жесткие сформированные априорные знания (priors) и упускают альтернативные объяснения. Дети же, в силу отсутствия фиксированного багажа знаний, открыты для поиска в гораздо более широком диапазоне.
Элисон Гопник утверждает, что сам феномен затяжного человеческого детства — это эволюционное решение фундаментальной дилеммы исследования-эксплуатации (explore-exploit trade-off). В компьютерных науках для выхода из локальных оптимумов используется метод имитации отжига (simulated annealing): алгоритм начинает поиск с «высокой температуры» (хаотичные, шумные, широкомасштабные шаги), а затем постепенно «остывает», сужая фокус для эксплуатации найденного решения.
«Детство — это эволюционный способ решения проблемы explore-exploit теншена и проведения имитации отжига».
Годовалый ребенок воплощает собой фазу высокотемпературного случайного поиска, в то время как взрослый — это фаза низкотемпературной направленной эксплуатации ресурсов. Длинный период физической незрелости, требующий заботы со стороны взрослых, необходим человечеству именно как защищенное окно для свободного каузального экспериментирования. Это наталкивает на мысль, что и ИИ-системам, возможно, необходим условный «период детства» перед вводом в жесткую эксплуатацию.
📊 Продвинутые механизмы: отбор переменных и гибридные системы 25:18
Сегодня ведущие лаборатории пытаются аппроксимировать эти биологические принципы. Йошуа Бенжио с коллегами разрабатывает гибридные архитектуры — потоковые сети (GFlowNets), которые накладывают каузальную структуру поверх традиционных нейросетевых моделей. Моделируемое каузальное обучение с подкреплением (model-based RL) также приближается к этой планке, однако ИИ все еще уязвим перед «проблемой телевизора» (TV problem). Если ориентироваться исключительно на технический прирост информации, система застрянет перед экраном со статическим шумом, выдающим бесконечный поток уникальных случайных данных. Дети же умеют гениально балансировать между хаосом и релевантной структурой.
Еще один барьер для современного машинного обучения — проблема отбора переменных (variable selection). Нам легко говорить о связи переменной $X$ и $Y$, но как понять, на какие именно аспекты реальности вообще стоит обращать внимание? Из-за неумения выделять правильные переменные ИИ-модели вроде ImageNet уязвимы для состязательных атак: они могут классифицировать объект по текстуре фона, а не по форме самого предмета. В науке неверный выбор переменных тоже ведет к тупикам (например, долгое время исследователи изучали общий холестерин, пока не разделили его на ЛПВП и ЛПНП).
Аспирантка Гопник Мариэль Годду провела изящный эксперимент «Черепашка Шелли». Детям показывали вымышленного персонажа, который пытается вырастить кактусы определенной формы. В условиях фигурировали две потенциальные переменные: цвет цветочных горшков и цвет леек, которыми поливали семена. Как только дети улавливали, что лейки влияют на результат, а горшки — нет, они мгновенно переносили это абстрактное знание на совершенно новые тест-кейсы с другими цветами. Дети вычленяли свойство «быть каузально значимым фактором» (difference-making) и игнорировали пустые шумы. Нейросети же, особенно в классическом RL, склонны бесцельно перебирать терабайты пикселей и совершать массу глупых действий, прежде чем случайно наткнуться на значимый паттерн.
👥 Социальные предубеждения и разнообразие в науке 33:50
Способность детей к каузальному анализу имеет и обратную сторону — быстрое формирование социальных стереотипов. В еще не опубликованных исследованиях команда Беркли тестировала социальные каузальные выводы. Детям демонстрировали группу играющих сверстников, куда охотно принимали персонажей в смешных очках, но демонстративно отвергали тех, кто носил смешные шляпы.
Дети моментально считывали этот паттерн условной зависимости и совершали отбор социальных переменных: они делали вывод, что люди в шляпах и люди в очках принадлежат к разным каузальным группам и заслуживают разного отношения. Подобные механизмы объясняют, как у детей формируются системные социальные предубеждения (biases), и накладывают серьезные риски на алгоритмы ИИ, которые обучаются на человеческих данных и с легкостью воспроизводят эти паттерны дискриминации.
Подводя итог своего выступления, Элисон Гопник сформулировала два главных тезиса:
- Каузальные репрезентации — это незаменимый инструмент для преодоления текущих архитектурных тупиков глубокого обучения.
- Компьютерным ученым пора перестать воспринимать мир детских комнат как нечто «несерьезное». Именно там скрыты механизмы самого эффективного обучения во Вселенной.
В завершение беседы Гопник затронула важный социокультурный аспект. Исторически детское развитие долгое время игнорировалось в ИИ, поскольку традиционно считалось «женской, семейной сферой» (girl stuff). Мужчины, двигавшие вперед компьютерные науки, редко пересекались с теми, кто занимался воспитанием младенцев. Тот факт, что сегодня сообщество ИИ начало активно внедрять наработки детской психологии — это прямое следствие роста инклюзивности и гендерного разнообразия в академической среде, что обогащает фундаментальную науку прорывными идеями.
