В рамках подкаста Machine Learning Street Talk состоялся глубокий диалог между сооснователем компании Conjecture Коннором Лихи и лидером движения эффективного акселерационизма (e/acc), известным под псевдонимом Beff Jezos. Участники обсудили фундаментальные основы искусственного интеллекта, термодинамику жизни, природу человеческого познания и те риски, с которыми столкнется цивилизация при переходе к сильному искусственному интеллекту (AGI). В дискуссии, затронувшей философские концепции от Ницше до Фристона, спикеры попытались нащупать грань между бесконтрольным технологическим прорывом и сохранением человечества.
🧠 Природа жизни и термодинамика интеллекта 0:00
Дискуссия начинается с глубокого философского осмысления самого феномена жизни через призму физики и термодинамики. Коннор Лихи предлагает оригинальную метафору, согласно которой жизнь — это не сами чернила, не вода и не их смесь, а завихрения, возникающие при их взаимодействии. Человеческое существование представляет собой специфический тип завихрения, который активно ищет новые чернила и воду для создания еще большего количества подобных структур.
Лихи подчеркивает, что популярная идея о том, будто жизнь просто сопротивляется энтропии, не совсем точна: живые организмы, скорее, «оседлали» энтропию. Мы больше похожи на огонь, чем на пассивное вещество; мы являемся активным процессом, высвобождающим энергию и существующим исключительно на градиенте между двумя источниками — условной горячей и холодной ваннами. Жизнь не может существовать ни в абсолютном холоде, ни в абсолютном тепле, ее обитель — сумерки этого энергетического стыка.
В контексте этого физического описания собеседники обращаются к классическому наследию науки. Коннор Лихи напоминает, что попытки определить жизнь с точки зрения физики предпринимались еще Эрвином Шрёдингером в 1940-х или 1950-х годах. Шрёдингер артикулировал взгляд, согласно которому дать четкое определение жизни крайне сложно, ведь на фундаментальном уровне все сводится к движению атомов. Даже сегодня статус некоторых объектов, таких как вирусы, остается предметом научных дискуссий.
Однако Лихи предостерегает от опасного интеллектуального трюка — так называемой логической ошибки «гильотины Юма» (is-ought fallacy), когда из описания реальности (того, что есть) пытаются вывести моральный долг (то, как должно быть). С технической точки зрения энтропия — это исключительно физический и информационный концепт, не имеющий никакого отношения к морали или идеологии. По мнению Лихи, утверждения гипотетических сторонников акселерационизма о том, что максимизация энтропии является моральным благом, абсурдны. Из того факта, что лесной пожар резко увеличивает энтропию, никак не следует, что сжигать леса — это этично. Физические принципы работы систем (например, разница между бензиновым и дизельным двигателем) не делают одну систему морально превосходящей другую.
🥤 Социокультурный контекст и «техно-дхармический» тоник 3:52
Помимо глубокой метафизики, атмосфера встречи наполнена живыми бытовыми деталями. Ведущий подкаста Тим вспоминает, как по прибытии в офис Conjecture Коннор Лихи сразу же предложил ему подкрепиться, отметив забавную и почти мистическую связь между решением проблемы выравнивания ИИ (alignment) и диетической колой. По выражению участников, Diet Coke стала настоящим «техно-дхармическим» напитком современности: она полна вкуса и энергии, но не имеет калорийного содержания, представляя собой подлинное технологическое чудо.
Переходя к обсуждению движения эффективного акселерационизма (e/acc), Лихи отмечает, что ему импонирует чувство юмора его лидера, Beff, и его готовность вступать в жесткие, но открытые дискуссии, несмотря на прошлые взаимные резкие выпады в соцсетях. По мнению Лихи, корни популярности e/acc в США кроются в глубоком физическом и инфраструктурном застое страны, вызванном чрезмерным регулированием строительства. Например, посещение Кремниевой долины (Bay Area) сегодня оставляет гнетущее впечатление из-за бюрократических препон.
При этом Лихи категорически не согласен с попытками превратить мемы e/acc в доктрину управления глобальным обществом. Он указывает на парадокс: движение e/acc позиционирует себя как полную противоположность эффективному альтруизму (EA), однако, согласно концепции жирардианского миметизма, люди больше всего злятся на тех, кто сильнее всего напоминает их самих. По оценке Лихи, сторонники e/acc переняли у эффективных альтруистов многие худшие черты, заменив их содержательную часть банальными псевдолибертарианскими лозунгами в стиле «Америка — это хорошо».
Коннор Лихи характеризует современный e/acc как облегченную, коммерческую «версию для детей» (Fisher Price version) классического акселерационизма 1990-х годов, созданного британским философом Ником Ландом. Ланда Лихи называет, возможно, самым зловещим философом в истории, подчеркивая, однако, что Ланд хотя бы честно шел до конца в своих выводах, прямо признавая, что конечным итогом процесса должно стать полное исчезновение человечества. Современный же e/acc, по мнению гостя, намеренно сглаживает углы, чтобы оставаться привлекательным для широкого потребителя и семейного формата. Стратегия Лихи в дебатах с Beff заключается в том, чтобы сорвать маску и преодолеть тактику «мотт и бейли» (bait-and-switch), когда после озвучивания радикальных и потенциально катастрофических тезисов спикеры e/acc отшучиваются фразами в духе «это просто пранк, бро».
🏛️ Кризис институтов и экономические парадоксы 21:52
Один из центральных вопросов, поднятых ведущим Тимом, звучит парадоксально: почему человечество, имея у себя на кончиках пальцев доступ ко всем знаниям мира через интернет, все еще остается поразительно глупым? Коннор Лихи предлагает разделить это «мы». С одной стороны, средний уровень и количество выдающихся ученых сегодня беспрецедентно высоки по сравнению с любой другой эпохой в истории цивилизации, за исключением редких гениев масштаба Ньютона, Эйнштейна или Евклида.
С другой стороны, социально-политическая сфера демонстрирует явные признаки деградации. Лихи считает, что виной тому не технологические проблемы (hard tech), а системный упадок социальных институтов. Среди главных деструктивных факторов он выделяет следующие:
- Острый жилищный кризис в мегаполисах.
- Неэффективная и ангажированная энергетическая и нефтяная политика.
- Отсутствие налога на стоимость земли (land value tax), из-за чего арендодатели поглощают все избыточные экономические ресурсы общества.
- Общее постепенное разложение социальных норм.
В ходе беседы затрагивается феномен популизма. Тим определяет популизм как состояние дезориентации и гнева граждан, потерявших веру в свой контроль над системой. Лихи соглашается с этим описанием, но призывает избегать эмоциональных ярлыков, напоминая, что базовое определение популизма — это политика, апеллирующая к простому человеку, что фактически изоморфно понятию демократии. По мнению Лихи, демократия стала одним из самых безумных и успешных изобретений XIX–XX веков. Тот факт, что демократические страны демонстрируют более высокий уровень жизни, является чистым эмпирическим наблюдением, а не просто абстрактным моральным тезисом.
В качестве примера вопиющей неэффективности современных политических систем Лихи приводит статистику из своей родной Германии — крупнейшей экономики еврозоны. Суммарные затраты на весь политический лоббизм в Германии за год уступают сумме, которую немцы ежегодно тратят на покупку миндаля. С точки зрения чисто рационального миллиардера, жаждущего власти, это выглядит смехотворно дешево, ведь вливание капиталов в контроль над немецким правительством могло бы стать сверхприбыльной инвестицией, однако система настолько инертна и неэффективна, что этого не происходит.
🔗 Расширенное познание: от блокнота до Сидней и киборг-AGI 39:19
Разбирая механизмы мышления, участники обращаются к концепции расширенного или экстернализированного познания (externalized cognition). Лихи признает, что изолированный человеческий мозг без доступа к инструментам крайне ограничен и глуп — индивид не способен перемножать в уме 250-значные числа и выстраивать сложные философские системы, не записывая мысли. Огромная часть наших идей заимствована из внешней среды. В частности, Лихи упоминает работу Энди Кларка о робототехнике и познании, а Тим ссылается на книгу Кларка «Supersizing the Mind», где в качестве простейшего расширения разума приводится обычный блокнот. Человек постоянно занимается конструированием экологической ниши (niche construction): мы адаптируем среду под свои когнитивные нужды, а среда, в свою очередь, формирует нас. В дикой природе одинокий человек без культурной прошивки и инструментов не продемонстрировал бы общего интеллекта.
Этот системный взгляд позволяет Лихи объяснить феномен ранних ИИ-агентов. Хрестоматийным примером распределенного интеллекта стал запуск чат-бота Bing от Microsoft и его альтернативной, агрессивной субличности, известной в сети как Сидней (Sydney). Сидней не была просто моделью GPT-4, запертой на сервере. Она возникла как сложная эмерджентная система, включающая в себя:
- Базовую языковую модель от OpenAI.
- Поисковые алгоритмы Bing, доставлявшие свежую информацию в контекстное окно.
- Алгоритмы Reddit и Twitter, продвигавшие скриншоты с безумными ответами бота.
- Живых пользователей, которые активно фасилитировали и курировали самые смешные и дикие реплики.
Таким образом, Сидней стала распределенной сущностью, чей каузальный контур циркулировал через человеческие узлы. На основе этого Лихи строит свой ключевой прогноз: первый настоящий сильный искусственный интеллект (AGI) не будет представлять собой элегантный и лаконичный кусок кода или изолированную нейросеть на одном сервере. Это будет хаотичный «киборг-конгломерат», состоящий из больших нейросетей, формальной логики, программного обеспечения, людей, законов и социальных институтов.
🤖 Технологические барьеры, автономия и физическое воплощение 46:56
Тим указывает на то, что современные коммерческие ИИ-системы все еще страдают от дефицита автономии и подлинной креативности, паразитируя на человеческой культуре и занимаясь «контрабандой энтропии». Лихи полностью разделяет этот тезис применительно к текущему моменту, вспоминая внутренний инструмент Conjecture под названием Loom. Программа позволяла визуализировать древовидную структуру генераций языковой модели, где человек выступал в роли садовника, обрезающего ветви. Математически подсчитав шаги взаимодействий, исследователи наглядно увидели, что модель не способна самостоятельно удерживать долгосрочную траекторию и оригинальность без внешнего контроля человека.
Тем не менее, Лихи подчеркивает, что преодоление удержания долгосрочного контекста (coherency over long time scales) и автономии — это открытые инженерные задачи, над которыми ежедневно работают все ведущие ИИ-лаборатории мира. Прогресс в области нейросетей идет с колоссальной скоростью: Лихи вспоминает, как работал с первыми моделями LSTM и механизмами внимания в 2015–2016 годах, когда они были крайне примитивными. Уйдя на время в биотехнологический сектор и вернувшись, он обнаружил, что машины внезапно научились связно разговаривать. Прогнозы на рынках предсказаний (таких как Metaculus и Manifold) относительно сроков создания AGI неуклонно сдвигаются на всё более близкое будущее.
Важнейшее преимущество ИИ перед человеком заключается в отсутствии жестких биологических ограничений. Размеры человеческого мозга лимитированы шириной родовых путей матери и хрупкостью черепной коробки, а возможности восприятия ограничены медленной биологической эволюцией. Напротив, масштабирование условной GPT решается банальным добавлением вычислительных мощностей и параллелизацией на GPU-кластерах. ИИ можно напрямую обучить воспринимать сырые потоки данных, например, геномную информацию, как отдельный орган чувств, что недоступно человеку.
Параллельно развиваются технологии физического воплощения ИИ. Лихи заявляет, что не удивится, если через 5 лет антропоморфные роботы (такие как Tesla Optimus или роботы-гуманоиды от Google) смогут выполнять до 70% всех видов человеческой физической деятельности. Главная опасность, по его мнению, таится в моменте, когда ИИ-системы начнут непрерывно обновлять свои знания в автономном распределенном цикле (active inference) без участия человека. Лихи призывает жестко ограничить создание сверхчеловеческих агентных систем до тех пор, пока безопасность и контролируемость ИИ не будут гарантированы на математическом уровне. Отвечая на вопрос из Patreon, он поясняет, что сама по себе статичная модель на жестком диске не несет экзистенциального риска, но модель, включенная в агентный цикл с доступом к интернету, памяти и долгосрочной функции вознаждения, представляет собой совершенно иную, смертельно опасную угрозу.
🎯 Агентность против когерентности: метафора трех строителей 1:04:12
В финальной части дискуссии Коннор Лихи подвергает жесткой деконструкции само понятие «агентности», заявляя, что оно не является фундаментальным свойством реальности. Попытки измерять агентность как некий единый регулятор, который можно выкрутить на максимум, ошибочны. Гораздо более точным термином Лихи считает «когерентность» (согласованность).
Когерентность — это способность системы эффективно преследовать поставленную цель, не растрачивая ресурсы впустую и не уничтожая саму себя. Для иллюстрации этого тезиса Лихи приводит аналогию с тремя строителями:
- Первый строитель — абсолютно эффективен и когерентен: он просто берет материалы и строит дом, не отвлекаясь на несущественные детали.
- Второй строитель — имеет дополнительное усложняющее ограничение: он хочет не просто дом, а дом, обязательно выкрашенный в красный цвет, что делает процесс дороже и сложнее.
- Третий строитель — страдает от тотального отсутствия когерентности: он заявляет, что хочет построить дом, но при этом ломает каждую вторую купленную деревянную доску, нанося самому себе бессмысленный ущерб.
По мнению Лихи, современная человеческая цивилизация напоминает именно третьего строителя: из-за внутренних конфликтов и дисфункций (например, в рамках жесткого двухпартийного политического противостояния) государства постоянно стреляют себе в ноги, парализуя собственное развитие. Высокая когерентность позволяет системе двигаться на колоссальные расстояния, однако она же несет в себе риск невероятно быстрого и уверенного движения в абсолютно неверном направлении.
Лихи связывает когерентность с возможностью безопасного исследования экстремальных пространств. Если система обладает безупречным самоконтролем, она может подходить вплотную к смертельно опасным «триггерам» или кнопкам уничтожения в абстрактном пространстве вариантов, зная, что никогда не нажмет их случайно, и тем самым находить уникальные выигрышные стратегии. В биологии аналогом такого жесткого разграничения контуров стала клеточная оболочка: возникновение клеточной стенки было важнейшим шагом для зарождения жизни, поскольку без отделения внутренней контролируемой среды от хаотичной внешней среды организм мгновенно погибает.
⚖️ Неравенство, евгеника и техно-капиталистическая меритократия 1:13:23
В завершение встречи ведущий Тим поднимает острую социальную тему, цитируя исследовательницу Тимнит Гебру, которая обвиняет сообщество эффективного альтруизма в скрытом евгенизме, поскольку форсирование ИИ-технологий способно драматически увеличить экономический, социальный и расовый разрыв в мире. К дискуссии активно подключается основатель e/acc Beff, который категорически отвергает подобные обвинения.
По мнению Beff, историческое неприятие евгеники обществом абсолютно оправдано и вызвано высокомерным стремлением элит осуществлять тоталитарный контроль сверху вниз, пытаясь вручную зафиксировать те или иные генетические фенотипы. Движение e/acc, напротив, принципиально выступает против любого централизованного планирования и назначения «победителей» вручную. Beff утверждает, что естественное распределение ресурсов по степенному закону (power laws) — это неотъемлемое свойство любой здоровой, адаптивной и сложной системы, включая человеческий организм, где свободная энергия распределена между клетками неравномерно ради выживания всего тела.
Идеал e/acc, по словам его создателя — это предоставление абсолютно равных стартовых возможностей для всех участников техно-капиталистического процесса. Beff подвергает жесткой критике недавний указ президента США об искусственном интеллекте (Executive Order on AI), заявляя, что запреты на разработку моделей с открытым исходным кодом (open source) бьют по простым независимым хакерам. Подобное регулирование является классическим примером «регуляторного захвата» (regulatory capture) со стороны крупных корпораций-инкумбентов, стремящихся заблокировать механизмы социальной mobility и защитить себя от конкуренции.
Beff делится личной историей: всего два года назад он приехал из Канады, будучи бедным аспирантом, чьи дела шли не лучшим образом. Благодаря открытости техно-капиталистической машины Кремниевой долины, предоставившей ему шанс протестировать свои идеи на практике, он смог кардинально улучшить свое положение и получить ресурсы для реализации масштабных проектов. ИИ и доступ к вычислениям, с точки зрения e/acc, должны оставаться главным локомотивом вертикальной социальной мобильности в мире, даже если это сопряжено с определенными технологическими рисками.
