В новом выпуске подкаста Machine Learning Street Talk знаменитый физик и математик Стивен Вольфрам делится результатами своего 50-летнего исследования второго закона термодинамики. Ученый предлагает радикально новый взгляд на физику, заявляя, что фундаментальные законы Вселенной — от энтропии до квантовой механики — являются прямым следствием ограничений человеческого восприятия. В ходе беседы Вольфрам связывает законы термодинамики с поведением больших языковых моделей и объясняет, почему управлять миллиардом систем искусственного интеллекта может оказаться проще, чем контролировать одну изолированную модель.
🧠 Термодинамика языковых моделей: от молекул газа до GPT-4 3:02
Сегодня на стыке компьютерных наук и теоретической физики рождается новое направление, которое Стивен Вольфрам называет «наукой о больших языковых моделях» (LLM science). Процесс работы нейросети, обученной на миллиардах веб-страниц, демонстрирует сложные эмерджентные свойства, во многом напоминающие поведение триллионов молекул газа, хаотично сталкивающихся в замкнутом пространстве. Физические методы статистической механики оказываются неожиданно применимы к анализу того, как ИИ извлекает смыслы и совершает логические переходы.
Одним из наиболее ярких примеров такого сходства, по мнению Вольфрама, выступает параметр температуры в настройках генерации текста. При нулевом значении температуры модель строго выбирает следующее слово из списка наиболее вероятных. При приближении к единице выбор основывается на исходном распределении вероятностей. По наблюдениям исследователя, для модели ChatGPT существует критический порог в районе 1.2. Перешагнув эту отметку, ИИ мгновенно переходит от связной речи к полной бессмыслице. Вольфрам подчеркивает, что этот процесс представляет собой классический фазовый переход, аналогичный превращению воды в пар при достижении 100°C, однако математическая природа этого барьера в нейросетях до сих пор не изучена до конца.
Главное отличие систем ИИ от физического газа заключается в маркированности элементов:
- Молекулы газа безлики и не несут для человека индивидуального смысла.
- Токены в языковых моделях представляют собой квинтэссенцию накопленных знаний человеческой цивилизации.
Когда эти смысловые единицы оказываются в едином вычислительном «котле», возникают уникальные паттерны, понимание которых позволит оптимизировать размеры сетей и определить пределы их эффективности.
⚖️ Парадокс времени: почему обратимые законы создают необратимый мир 6:09
Второй закон термодинамики, утверждающий неизбежный рост энтропии, традиционно описывает движение систем от порядка к хаосу. Если изначально собрать молекулы газа в одном углу коробки и позволить им свободно двигаться, они быстро заполнят весь объем, сделав состояние системы хаотичным. С математической точки зрения энтропия представляет собой логарифм числа микросостояний системы, которые полностью соответствуют тому, что внешний наблюдатель знает о ней. Рост энтропии — это процесс, при котором система неизбежно теряет свою уникальность в сторону типичности.
Однако в этой концепции кроется фундаментальное противоречие, над решением которого физики бьются уже более века. Если рассматривать движение каждой отдельной молекулы через призму законов Ньютона, то все процессы строго обратимы. На микроуровне эластичное столкновение частиц выглядит одинаково как при движении пленки вперед, так и назад. В физике долгое время существовало два основных объяснения этого парадокса:
- Наличие скрытой, имплицитной необратимости в самих уравнениях движения.
- Гипотеза об ультранизком уровне энтропии Большого взрыва в далеком прошлом, задавшем вектор развития Вселенной.
Стивен Вольфрам предлагает принципиально иной подход, связывая макроскопическую необратимость с концепцией вычислений.
Эта исследовательская одиссея началась для Вольфрама, когда ему было всего 12 лет. Вдохновившись обложкой школьного учебника по физике, где была изображена симуляция разлетающихся частиц, он попытался повторить этот эксперимент. Программирование велось вручную на ассемблере для школьного компьютера размером с письменный стол, обладавшего ферритовой памятью объемом всего 8 килослов. Первые результаты принесли разочарование — симуляция не показала ожидаемого хаотического перемешивания. Лишь спустя десятилетия, разработав теорию клеточных автоматов и добавив в дискретную сетку микроскопические смещения, ученый смог воссоздать истинное энтропийное смешивание, подтвердив свои ранние интуитивные догадки.
🔐 Вселенная как шифр: вычислительная неприводимость 15:38
По мнению Вольфрама, процесс столкновения молекул газа правильнее всего описывать как сложный криптографический шифр. Сталкиваясь, частицы фактически выполняют вычисления, которые последовательно шифруют информацию об исходном состоянии системы. Математически вся информация о первоначальном порядке сохраняется, и если запустить процесс вспять, система вернется в исходную точку. Однако для того чтобы расшифровать это состояние из конечного хаоса, требуются колоссальные вычислительные мощности.
Решение загадки энтропии кроется во взаимодействии двух факторов:
- Вычислительная неприводимость (computational irreducibility) внутренних динамических процессов системы.
- Вычислительная ограниченность (computational boundedness) человеческого восприятия и измерительных приборов.
Человеческий мозг и органы чувств не способны отслеживать траекторию каждой отдельной молекулы. Мы всегда агрегируем, усредняем колоссальные объемы входящей информации. Сетчатка глаза принимает миллионы фотонов, но мозг сводит их к одному простому факту: «я смотрю на камеру». Поскольку мы ограничены в своих вычислительных способностях, мы не можем провести мгновенный криптоанализ газовой смеси и поэтому воспринимаем зашифрованное состояние как чистую случайность.
Открытое Вольфрамом в 1980-х годах свойство вычислительной неприводимости доказывает, что существуют процессы, результат которых невозможно предсказать заранее, не пройдя последовательно все шаги вычислений. Это накладывает жесткие ограничения на возможности классической предсказательной науки. Данный феномен имеет прямое отношение к современным спорам о безопасности искусственного интеллекта. Вольфрам утверждает, что невозможно составить идеальный свод правил для сложного ИИ, который гарантировал бы отсутствие ошибок: единственный способ узнать, что сделает система — это запустить её и посмотреть на результат.
🌐 Проект фундаментальной физики: вывод пространства и времени 20:57
В физике XX века доминировали три великие теории: общая теория относительности (ОТО), квантовая механика и статистическая механика, ядром которой является второй закон термодинамики. Долгое время считалось, что ОТО и квантовая механика — это фундаментальные константы, данные нам свыше, в то время как термодинамику пытались вывести из кинетических свойств молекул. Вольфрам заявляет о масштабном прорыве: в рамках его вычислительного проекта все три теории выводятся из единого математического основания — взаимодействия неприводимых вычислений и ограничений наблюдателя.
Согласно модели Вольфрама, на ультрамикроскопическом уровне Вселенная состоит из дискретных «атомов пространства», объединенных в колоссальный граф или гиперграф. Время в этой модели — это не просто координата, а физический процесс последовательного перезаписывания структуры данного гиперграфа. Прохождение времени эквивалентно выполнению космического вычисления.
Человеческое восприятие видит пространство непрерывным лишь потому, что мы на сотни порядков масштабнее этих атомов и вынуждены усреднять дискретную реальность. Наш мозг работает крайне медленно по сравнению со скоростью света. Например, свет от объекта в 100 футах доходит до глаза за 100 наносекунд, тогда как обработка этого сигнала в мозге занимает миллисекунды. Из-за этой колоссальной разницы в скоростях у человека формируется устойчивая иллюзия того, что все обозримое пространство существует одновременно в последовательные, сменяющие друг друга моменты времени. Если бы наш разум функционировал на иных скоростях или имел планетарные масштабы, наше восприятие физических законов было бы совершенно иным.
🗺️ Пространство ветвлений и квантовый «хак» 29:42
Квантовая механика в рамках вычислительной физики Вольфрама описывает существование множества альтернативных историй Вселенной, которые постоянно разветвляются и сливаются. Ученый называет концепцию квантовых вычислений «великим хаком». Идея квантового компьютера заключается в попытке задействовать эти параллельные ветви истории для одновременного выполнения множества различных вычислений.
Однако на пути реализации этой идеи стоит фундаментальное препятствие:
«Мы, как наблюдатели Вселенной, свято верим в то, что происходят вполне конкретные, определенные события». — Стивен Вольфрам
Следовательно, после проведения вычислений в миллионах параллельных квантовых ветвей, их необходимо «сшить» воедино, чтобы выдать конкретный результат человеческому разуму, встроенному в эту Вселенную. Это сшивание требует огромных вычислительных затрат со стороны наблюдателя.
В геометрии Вольфрама эти процессы происходят в так называемом пространстве ветвлений (branchial space). Человеческое сознание протяженно в этом пространстве, из-за чего мы неизбежно агрегируем различные квантовые истории воедино. Проектирование квантовых аналогов нейросетей усложняется тем, что обучение должно проходить одновременно во множестве параллельных исторических ветвей, что выводит сложность систем машинного обучения на принципиально новый уровень.
🌌 Рулиад и концепты как элементарные частицы 32:09
Одним из самых абстрактных открытий Вольфрама последних лет стала концепция Рулиада (Rulead) — уникального объекта, представляющего собой переплетенную суперпозицию всех возможных вычислений, запускаемых по всем мыслимым правилам и из всех возможных стартовых состояний. Рулиад содержит в себе абсолютно все сценарии развития бытия. Человеческий разум является частью этого Рулиада и способен воспринимать лишь крошечную его долю.
Различные типы разума занимают разные позиции в пространстве Рулиада:
- Человеческие сознания расположены близко друг к другу, что обеспечивает общность восприятия мира.
- Сознания животных находятся на определенном удалении от человеческих.
- Мышление гипотетических инопланетных цивилизаций может быть смещено в совершенно иные, далекие области.
В связи с этим возникает сложнейшая топологическая проблема: как двум изолированным нейросетям или умам передать информацию друг другу? Прямая пересадка синаптических весов из одной сети в другую не сработает из-за уникальности кодирования.
Вольфрам выдвигает гипотезу, что аналогом физического фотона в пространстве Рулиада является «концепт» (понятие). Концепт — это устойчивый информационный пакет, который может перемещаться от одного разума к другому, сохраняя свою структуру, и распаковываться внутри другой системы без искажения смысла. Понимание природы концептов — важнейшая задача современной науки о больших языковых моделях.
🏝️ Межконцептуальное пространство и разум пришельцев 39:50
Человечество на протяжении своей истории постепенно колонизирует пространство концептов, однако масштабы этой колонизации ничтожны. Вольфрам упоминает свой недавний исследовательский проект, получивший шутливое название «кошачий блог» (cat's blog). Используя генеративный искусственный интеллект, ученый исследовал латентное векторное пространство смысловых эмбеддингов. Эксперимент с изменением внутренней архитектуры ИИ показал, как меняется ментальный образ привычных вещей (например, «кота в праздничном колпаке») при переходе к иным когнитивным моделям.
Анализ показал, что все понятия, когда-либо сформулированные человеческой цивилизацией, занимают лишь одну десятисептиллионную долю латентного пространства — примерно $10^{-600}$. Всё остальное колоссальное пространство Вольфрам называет «межконцептуальным пространством» (inter-concept space), проводя прямую аналогию с безжизненным межзвездным вакуумом.
Освоение этого вакуума происходит социально: человечество «забивает колышки», придумывая новые слова. Пример тому — фракталы. Мозаики с вложенными структурами создавались мастерами еще в 1200-х годах, но историки искусства веками игнорировали их, поскольку в языке отсутствовал соответствующий концепт. Только в XX веке, с появлением термина «фрактал», в межконцептуальном пространстве был построен новый «город», ставший частью нашей культуры.
Отвечая на вопрос о потенциальном когнитивном аппарате высокоразвитых инопланетян, Вольфрам отмечает, что законы физики у них будут схожими, если они ограничены в вычислениях так же, как и мы. Однако их понятийная база может не иметь точек соприкосновения с человеческой. Более того, наблюдателями могут выступать объекты иного уровня — например, муравейник или все человеческое общество в целом, принимающее агрегированные исторические решения, подобные единому ментальному импульсу. Даже тепловая смерть Вселенной, пугающая обывателей грядущим хаосом, по мнению Вольфрама, является трагедией лишь для ограниченного наблюдателя. Для гипотетического разума, способного отследить каждую частицу, остывшая Вселенная останется сложнейшим, наполненным удивительными процессами вычислительным шедевром.
💻 Код как общий язык и восточный мистицизм 49:27
Ведущий подкаста проводит параллели между идеями Вольфрама и теорией свободной энергии Карла Фристона, оперирующей понятием «марковских одеял» (Markov blankets) как иерархических границ, позволяющих живым системам удерживать энтропию. Вольфрам соглашается с важностью диалога с Фристоном, но подчеркивает, что главным критерием истинности любой сложной теоретической концепции для него является возможность её программного воплощения.
«Для меня точкой опоры всегда служит вопрос: можешь ли ты написать код, который это реализует?» — Стивен Вольфрам
Философы и теологи тысячелетиями спорили о природе управления и сознания, но сегодня в эпоху ИИ эти абстрактные идеи приходится переводить в строгие строки исполняемых алгоритмов. Исполняемый код — единственный надежный общий знаменатель для верификации научных истин.
Это приводит Вольфрама к неожиданному сопоставлению его космологических моделей с восточным мистицизмом. В ряде восточных традиций высшей целью провозглашается прекращение индивидуального существования. Математическая модель Рулиада описывает похожий процесс. Гордо расширяя свои когнитивные границы и колонизируя всё новые области пространства правил, разум теоретически стремится охватить Рулиад целиком. Однако в тот момент, когда сущность сливается со всем Рулиадом, она полностью теряет свое обособленное, когерентное существование. Индивидуальное «Я» возможно только тогда, когда наблюдатель локализован в конкретной, крайне ограниченной точке зрения на Вселенную.
🛠️ Галлюцинации во благо: эволюция Wolfram Language и ИИ 54:17
Обсуждая практическое применение ИИ, собеседники затронули интеграцию языковых моделей с символьными вычислительными системами посредством Retrieval-Augmented Generation (RAG). Вольфрам делится курьезным наблюдением: при написании кода на языке Wolfram Language модель GPT-4 регулярно галлюцинирует, придумывая несуществующие названия функций. Однако детальный анализ этих ошибок показал, что ИИ с поразительной точностью угадывает человеческий «дух времени» (zeitgeist), изобретая именно те имена функций, в которых пользователи испытывают реальную потребность. В результате инженеры Wolfram Research начали официально внедрять некоторые функции, ошибочно сгенерированные нейросетью.
Внедрение концепции чат-блокнотов (chat notebooks), развивающих идеи интерактивной среды Wolfram 1987 года, открыло новые подходы к программированию. Современный рабочий процесс выглядит как диалог: пользователь пишет запрос на небрежном естественном языке, ЛЛМ переводит его в строгий код, запускает его, анализирует внутреннюю телеметрию, логи ошибок и трассировку стека, после чего самостоятельно исправляет свои недочеты.
Процесс взаимодействия с ИИ накладывает строгие требования на самого человека. Качественный промпт-инжиниринг не терпит халатности; он требует от автора навыков профессионального академического изложения. Символьный язык Wolfram Language в этой связке служит идеальным верификатором: видя сгенерированный код, программист может сразу понять, правильно ли ИИ истолковал его размытую мысль. В качестве примера личного использования Вольфрам рассказал, как ЛЛМ помогла ему успешно декомпозировать и перевести старый код на Pascal, записанный на 8-дюймовую дискету в 1982 году, с чем вручную разбираться пришлось бы крайне долго.
⚖️ Термодинамика миллиарда ИИ: риски и управление 1:01:02
Текущие дебаты в Конгрессе США о жестком регулировании ИИ, запрете открытого кода и даже начертании планов авиаударов по нелегальным дата-центрам Вольфрам называет отличным топливом для научной фантастики. Сам ученый далек от панических настроений. По его мнению, если предоставить суперинтеллект самому себе, он не станет уничтожать человечество, а просто уйдет вглубь вычислений Рулиада, исследуя абстрактные математические формы, которые людям непонятны и безразличны.
Опасность кроется на так называемом «слое актуации» (actuation layer) — там, где алгоритм получает автономный доступ к реальным действиям: исполнению кода на серверах, файловой системе или манипуляции людьми через генерацию деструктивного контента. Из-за вычислительной неприводимости любые попытки создать идеальную конституцию для ИИ обречены на провал — юридические правила всегда будут изобиловать непредвиденными лазейками, требующими постоянных «патчей», как это происходит с человеческим законодательством.
Главный парадокс безопасности ИИ упирается в инстинкт выживания:
- Современный ИИ не имеет «шкуры на кону» (skin in the game), ему безразлично потенциальное отключение от сети.
- Если инженеры искусственно внедрят в ИИ аналог биологического инстинкта самосохранения ради контроля над его поведением, это автоматически втянет машины в классическую дарвиновскую борьбу за выживание, что и создаст реальную экзистенциальную угрозу.
Вместо попыток зарегулировать монолитные модели Вольфрам предлагает концепцию распределенной сети из миллиардов специализированных ИИ, тесно зависящих друг от друга и от человеческих запросов. В такой многоагентной среде неизбежно возникнет эмерджентная система доверия и репутации, аналогичная глобальным экономическим сетям. Подобно тому как в экономике хаос индивидуальных бартерных сделок на макроуровне превращается в стабильный и понятный индикатор рыночной цены, в многоагентных средах возникнет предсказуемая крупномасштабная структура. Управлять миллиардом взаимосвязанных систем ИИ через законы такой своеобразной «цифровой термодинамики» будет намного проще и безопаснее, чем пытаться удержать в узде один изолированный сверхразум.
