Команда популярного подкаста Machine Learning Street Talk провела глубокое и детальное интервью с профессором Карлом Фристоном — легендарным британским нейробиологом, создателем принципа свободной энергии и концепции активного умозаключения. В ходе беседы исследователи обсудили математические основания сознания, физику открытых систем, концепцию марковских одеял, термодинамическую стоимость мышления и применимость этих идей к современным архитектурам искусственного интеллекта. Этот разговор позволяет по-новому взглянуть на природу интеллекта, рассматривая его не просто как оптимизацию конкретных целей, а как фундаментальный физический процесс минимизации неопределенности.
🧠 Феномен Карла Фристона: от картирования мозга к теории всего 36:26
Карл Фристон (Karl Friston) — выдающийся британский нейробиолог из Университетского колледжа Лондона (UCL), получивший мировое признание как создатель ключевых математических методов анализа и визуализации активности мозга. Его академический путь начался в Кембриджском университете в 1980 году, где он изучал естественные науки, физику и психологию, после чего завершил медицинское образование в Больнице Королевского колледжа в Лондоне. На сегодняшний день Фристон считается самым цитируемым нейробиологом планеты: его работы собрали более 206 тысяч цитирований, а его индекс Хирша (h-index) достиг феноменальной отметки 239. В 2016 году академическая платформа Semantic Scholar официально назвала его самым влиятельным исследователем в области нейронаук.
Главным делом жизни Карла Фристона стала разработка вариационного принципа свободной энергии (Free Energy Principle, FEP), который в когнитивных науках часто называют концепцией активного умозаключения (active inference). Этот амбициозный теоретический конструкт претендует на роль универсального закона, связывающего воедино разум, жизнь и окружающую среду. Принцип утверждает, что экзистенциальный императив любой системы, способной противостоять хаосу и разрушению, можно сформулировать как сугубо математическую задачу байесовского вывода. По словам Фристона, выживание организма — это непрерывный процесс сбора доказательств собственного существования, где сама вероятность найти фенотип в определенной экологической нише эквивалентна математическому свидетельству (evidence) в пользу его внутренней модели мира.
🗺️ Марковские одеяла: как математика отделяет «я» от Вселенной 7:12
Основополагающим понятием в теории Фристона является концепция марковских одеял (Markov blankets), которая позволяет строго описать границы любого обособленного объекта. Ведущие Machine Learning Street Talk наглядно продемонстрировали эту структуру на примере абстрактного графа состояний. Если представить всю Вселенную как массив взаимосвязанных элементов, то марковское одеяло делит это пространство на три изолированные зоны:
- Внутренние состояния («само существо» системы, условно обозначенное красными точками).
- Внешние состояния (окружающая среда Вселенной, обозначенная синими точками).
- Состояния одеяла (желтые и оранжевые точки, находящиеся строго между ними).
Математические правила марковского одеяла жестко регламентируют информационные потоки внутри этой конфигурации. Внутренние состояния способны напрямую взаимодействовать только с сенсорной («оранжевой») частью одеяла. Сенсорная часть передает сигналы активной («желтой») части, а та, в свою очередь, воздействует на внешнюю среду. Прямое влияние внешнего мира на внутренний мир объекта (и наоборот) полностью исключено.
Благодаря марковскому одеялу возникают условия условной независимости (conditional independencies). Как утверждает Карл Фристон, если нам доподлинно известны состояния одеяла, то внутренние процессы становятся информационно изолированными от внешних. Это имеет фундаментальное значение для когнитивных наук: любые вычисления и изменения внутри системы (в мозге человека, в слоях вариационного автокодировщика или в транзисторах компьютера) можно интерпретировать как формирование байесовских «убеждений» о скрытых причинах, вызвавших эти сенсорные данные во внешнем мире. Марковское одеяло выводит физику из плоскости замкнутых равновесных систем XX века в плоскость открытых, самоорганизующихся систем, находящихся в стационарном неравновесном состоянии.
🌀 Проблема «размытых границ»: от ураганов до стрижки ногтей 1:04:49
В ходе дискуссии Кит Даггар затронул критический вопрос, ранее поднятый физиком Шоном Кэрроллом: обладают ли марковским одеялом такие динамические объекты, как ураган или пламя свечи? В идеальной математической формулировке марковское одеяло существует вечно и имеет безупречно четкие границы. Однако реальные физические объекты демонстрируют текучесть.
По мнению Фристона, строго говоря, ураган или пламя не имеют классического статического марковского одеяла из-за непрерывного диффузного обмена. В таких системах происходит постоянная ротация элементов: внешние состояния становятся частью одеяла, а состояния одеяла выбрасываются наружу. Профессор с иронией признался, что остро переживает эту математическую неточность каждый раз, когда стрижет ногти или подстригает волосы, задаваясь вопросом: в какой именно момент его собственные ткани пересекают марковское одеяло и превращаются во внешнюю среду.
Для описания таких нестабильных систем Фристон предлагает интегрировать в принцип свободной энергии математический аппарат блуждающих множеств (wandering sets), разработанный в рамках эргодической теории выдающимся математиком Александром Хинчиным. По словам гостя, это позволит создать новую механику, способную строго описывать флуктуирующие границы открытых систем, будь то планетарная биосфера Земли или самовоспроизводящиеся 3D-принтеры.
📐 Уравнение свободной энергии: баланс точности, сложности и термодинамики 16:29
Формальное математическое выражение принципа свободной энергии идентично понятию нижнего предела доказательства (ELBO), используемому в машинном обучении для оценки качества моделей. Вариационная свободная энергия декомпозируется на два базовых компонента — точность (accuracy) и сложность (complexity). Как пояснил Кит Даггар, свободная энергия представляет собой сумму энергии (показателя того, насколько хорошо модель объясняет наблюдения) и энтропийного вклада — дивергенции Кульбака — Лейблера (KL-дивергенции) между внутренней моделью агента и реальным распределением скрытых параметров мира:
$$\text{Free Energy} = \text{Complexity} - \text{Accuracy}$$
Согласно определению Карла Фристона, сложность в этой формуле отражает относительную энтропию между априорными (prior) и апостериорными (posterior) распределениями убеждений. Простыми словами, сложность — это мера того, насколько сильно агенту приходится «менять свой разум» при столкновении с новыми сенсорными данными. Минимизация свободной энергии требует от системы соблюдения баланса: находить модели, которые максимально точно описывают входящую информацию, но при этом остаются минимально сложными, максимально сжатыми и избавленными от избыточных параметров (что напрямую перекликается с принципом минимальной длины описания и бритвой Оккама).
⚡ Физическая стоимость мысли: связь с принципом Ландауэра 1:21:44
Карл Фристон указал на глубокую физическую связь между теорией информации и чистой термодинамикой, которая устанавливается через принцип Ландауэра (Landauer's principle) и равенство Ярзинского (Jarzynski equality). Согласно принципу Ландауэра, любое изменение, перезапись или стирание бита информации в процессе байесовского обновления убеждений неизбежно влечет за собой выделение тепла и имеет строго фиксированную минимальную стоимость, измеряемую в джоулях.
Таким образом, минимизация вариационной сложности в рамках FEP — это не просто абстрактная математическая эстетика, а прямой способ снизить количество энергии, расходуемой организмом. По мнению Фристона, если спроектировать два компьютера с абсолютно одинаковой точностью распознавания данных, то более эффективным и совершенным окажется тот, который потребляет меньше ватт электроэнергии, поскольку его алгоритмы обеспечивают минимальную вычислительную сложность.
🦉 Отказ от функций ценности: пример с совой 57:43
Классическое машинное обучение с подкреплением (RL) строится на оптимизации целенаправленного поведения с помощью уравнений Белломана и вычисления функций ценности состояний (value functions). Карл Фристон подчеркивает, что его вариационный подход предлагает радикальную альтернативу.
В стандартных RL-моделях предполагается, что сова, охотящаяся на мышь в поле, движется по жесткой траектории максимизации функции ценности, заранее зная координаты цели. Однако реальный мир характеризуется высокой неопределенностью и скрытыми параметрами. В рамках активного умозаключения целевая функция агента строится не на фиксированных состояниях среды, а на распределении вероятностей байесовских убеждений. Поиск и исследование изначально вшиты в это уравнение: сова совершает действия, направленные прежде всего на разрешение неопределенности (минимизацию двусмысленности и риска), превращая поиск пищи в эпистемическое исследование пространства.
🎛️ Спор о параметре Альфа: нужен ли регулятор температуры сознания? 19:17
В ходе беседы Кит Даггар выдвинул смелую гипотезу: не следует ли ввести в каноническое уравнение свободной энергии дополнительный масштабирующий коэффициент — температурный параметр $\alpha$ (по аналогии с константой Больцмана), чтобы гибко регулировать относительный вклад точности и сложности в зависимости от контекста? На это предложение Карл Фристон дал два фундаментальных, взаимно исключающих ответа.
С одной стороны, профессор ответил «категорически нет». По мнению Фристона, ключевое достижение единого функционала свободной энергии заключается в том, что он полностью нивелирует вековую дилемму исследования и эксплуатации (exploration-exploitation dilemma). Поисковая активность (внутренняя эпистемическая ценность) и прагматическое достижение цели (внешняя утилитарная награда) выражаются в одних и тех же универсальных единицах — натах (nats), основанных на натуральных логарифмах. Добавление искусственных гиперпараметров температуры разрушит эту изящную систему, позволяющую напрямую сопоставлять ценность новой информации со стоимостью физических ресурсов.
С другой стороны, Фристон ответил «абсолютно да». Он пояснил, что в своем базовом виде вариационный принцип лишь утверждает, что система удерживает себя в неравновесном стационарном состоянии, но ничего не говорит о физических свойствах этого состояния (оно может быть горячим, холодным, высоко- или низкоэнтропийным). Параметр $\alpha$ становится необходим, когда мы переходим к моделированию сложных живых агентов, которые активно конструируют взаимную информацию между внутренним миром и внешней средой. Фристон признал, что в текущей научной литературе этот коэффициент отсутствует, однако среди молодых математиков ведутся ожесточенные дискуссии на эту тему. Он выразил надежду, что этот вопрос будет решен в течение ближайшего года, пообещав назвать новый коэффициент «параметром Альфа» в честь Кита Даггара.
🧠 Архитектура мозга: критика Хари Валполы и концепция амортизации мышления 22:07
Ведущие озвучили Фристону критические аргументы доктора Хари Валполы (Hari Valpola), прикладного нейробиолога и генерального директора стартапа The Curious AI. Валпола убежден, что попытка объяснить все многообразие функций коры головного мозга через одну лишь минимизацию свободной энергии является сильным биологическим упрощением. Он указывает на то, что обучение в реальном мозге жестко модулируется вниманием и социальным контекстом. В качестве примера Валпола приводит девятимесячного ребенка: в этом возрасте наступает критический период для усвоения фонем родного языка, однако если младенцу просто проигрывать речь по радио, результат будет нулевым; обучение происходит исключительно в процессе живого социального интерактивного взаимодействия с матерью.
Карл Фристон детально парировал это возражение, заявив, что данный феномен полностью описывается механизмами «структурного обучения» (structure learning), также известного как байесовский выбор моделей (Bayesian model selection). С точки зрения Фристона, биологическая эволюция — это не что иное, как природный инструмент проведения глобального байесовского сравнения моделей, где адаптивная приспособленность (fitness) фенотипа напрямую транслируется в математическую вероятность его выживания и обнаружения в среде.
Согласно знаменитой кибернетической теореме хорошего регулятора (Good Regulator theorem), любая система, эффективно управляющая своей средой, должна явным образом воплощать в себе модель этой среды. Поскольку наш физический мир обладает глубокой иерархической структурой и состоит из множества других мыслящих агентов, анатомия коры головного мозга и слои глубоких искусственных нейросетей неизбежно эволюционируют в сложные глубокие иерархии, зеркально отражающие устройство Вселенной.
🏛️ Модель «Быстрого и медленного мышления» в нейроанатомии 24:19
Хари Валпола также выразил сомнение в том, что теория Фристона способна адекватно объяснить феномен Системы 1 и Системы 2 (быстрого автоматического и медленного осознанного мышления) по Даниэлю Канеману. Он сослался на когнитивные тесты с карточками: когда на них нанесен скрытый сложный паттерн, люди в определенный момент совершают инсайты за счет Системы 2 и мгновенно выходят на 100% точность классификации, в то время как обезьяны не демонстрируют такого скачкообразного понимания.
Фристон предложил изящное объяснение этого феномена через призму взаимодействия коры больших полушарий и мозжечка. По его мнению, этот тандем можно описать следующим образом:
- Делиберативное мышление (Система 2 / Model-based): Осуществляется ресурсоемкими сетями коры головного мозга, требуя пошагового байесовского обновления убеждений, прогнозирования траекторий и планирования как вывода.
- Амортизированное мышление (Система 1 / Model-free): Мозжечок непрерывно «наблюдает» за активностью коры, фиксирует устойчивые, часто повторяющиеся паттерны успешных действий и движений, после чего «амортизирует» их (hardwires), зашивая напрямую в быстрые рефлекторные дуги.
По словам Фристона, эта «амортизация» (amortization) критически необходима организму. Поскольку вариационный принцип наименьшего действия в физике требует минимизации интеграла времени, затрачиваемого на достижение цели, биологические системы находятся под постоянным эволюционным давлением. Они обязаны выполнять вычисления максимально быстро, что и заставляет мозг переводить долгие осознанные вычисления Системы 2 в автоматические, дешевые рефлексы Системы 1.
👤 Парадокс полезных заблуждений и лицо похитителя 14:48
В рамках дискуссии об информационных процессах Коннор Лихи затронул парадоксальный аспект активного умозаключения. В теории игр и теории принятия решений существуют сценарии, в которых стремление к абсолютной точности модели мира не повышает, а резко снижает выживаемость агента. Лихи привел наглядный пример: заложнику категорически невыгодно запоминать лицо своего похитителя, поскольку преступник, осознав, что его могут опознать, с гораздо большей вероятностью примет решение об устранении свидетеля.
По мнению Фристона, этот пример блестяще иллюстрирует, почему традиционный принцип оптимальности Белломана пасует перед лицом сложных экзистенциальных задач. Целевые функции живых систем должны оперировать не объективным физическим состоянием среды, а внутренними убеждениями и последствиями этих состояний.
Более того, в социальных иерархиях агентам часто жизненно необходимо иметь искаженные, сверхоптимистичные убеждения — например, считать себя умнее, привлекательнее или увереннее, чем они есть на самом деле, поскольку это позволяет эффективнее кооперироваться и занимать доминирующие позиции в группе. Карл Фристон резюмировал, что все живые системы по своей природе фундаментально оптимистичны: на глубинном уровне их априорные байесовские распределения настроены на непрерывный поиск свидетельств того, что они являются стабильными, защищенными, теплыми и бессмертными существами, и без этих «розовых очков» активное умозаключение и само существование жизни были бы невозможны.
🔄 Предиктивное кодирование и обратное распространение ошибки (Backpropagation) 26:17
Коннор Лихи обратился к одной из самых обсуждаемых тем на стыке ИИ и биологии: недавним научным публикациям, доказывающим, что алгоритмы предиктивного кодирования (predictive coding) способны с высокой точностью аппроксимировать работу алгоритма обратного распространения ошибки (backpropagation) в графах произвольной топологии.
Карл Фристон заявил, что этот математический вывод для него абсолютно очевиден и неудивителен. С математической точки зрения, любые градиенты вариационной свободной энергии по отношению к параметрам или весам связей системы всегда можно в явном виде записать как ошибки прогноза (prediction errors).
Если мы исходим из постулата, что наша Вселенная выполняет градиентный спуск по функционалу вариационной свободной энергии, то по правилу дифференцирования сложной функции (chain rule) элементы этой Вселенной обязаны минимизировать свои ошибки прогнозирования. По мнению Фристона, алгоритм Backprop — это просто частное, линеаризованное выражение общего градиентного потока свободной энергии. С улыбкой ученый добавил, что это, пожалуй, один из редких случаев в истории науки, когда практикующие нейробиологи высказали что-то искренне позитивное в адрес тривиального компьютерного алгоритма обратного распространения ошибки.
🌌 Границы применимости: объясняет ли теория происхождение жизни? 27:23
В финале беседы ведущие задали Фристону самый главный концептуальный вопрос: способна ли его «теория всего» объяснить абиогенез — момент возникновения той самой первой искры жизни, из которой впоследствии развились сложные, марковские системы?
Ответ создателя принципа свободной энергии оказался весьма строгим и приземленным. По мнению Карла Фристона, феномен происхождения жизни полностью лежит за рамками применимости его теории в ее текущем классическом виде. Вся математическая структура байесовской механики и активного умозаключения выводится из фундаментального предположения, что стационарное неравновесное состояние и марковское одеяло уже существуют во времени.
Теория Фристона безупречно описывает свойства, которыми система обязана обладать, чтобы успешно противостоять энтропии и продолжать существовать, но она не способна ответить на вопрос, как именно возникли исходные стационарные конфигурации. Тем не менее, Фристон с большим оптимизмом отметил текущие исследования Лос-Аламосской национальной лаборатории, авторы которых пытаются математически обосновать неизбежность усложнения информационных структур по мере термодинамического расширения Вселенной.
