В эфире подкаста Machine Learning Street Talk состоялся глубокий философский диалог между исследователем искусственного интеллекта Коннором Лихи (Connor Leahy) и ведущим Тимом Скарфи (Tim Scarfe), к которому позже присоединился идеолог движения e/acc Бефф Джезос. Собеседники обсудили природу разума, метаэтические тупики современной цивилизации и экзистенциальные риски, связанные с созданием сильного ИИ (AGI). Центральной темой беседы стало столкновение подходов к регулированию технологий: от жесткого контроля ради выживания человечества до радикального техно-оптимизма и свободы открытого кода.
🥤 Техно-дармический напиток и потребительский акселерационизм 3:52
Встреча участников дискуссии началась в офисе исследовательской компании Conjecture. По шутливому замечанию Коннора Лихи, существует странный симбиоз между проблемой выравнивания ИИ (alignment) и диетической колой, которую он назвал «техно-дармическим напитком нашего века» за её способность давать чистый вкус и энергию без реального калорийного содержания.
Переходя к обсуждению идеологии эффективного акселерационизма (e/acc), Коннор Лихи отметил, что ценит чувство юмора её неформального лидера Беффа. Однако исследователь категорически не согласен с попыткой превратить мем-культуру в доктрину управления глобальным обществом. По мнению Коннора Лихи, движение e/acc позиционирует себя как прямая противоположность эффективному альтруизму (EA), но в действительности имеет с ним гораздо больше общего, чем готово признать, демонстрируя классическую жирардианскую миметическую вражду, когда стороны больше всего конфликтуют с теми, кто на них похож.
Гость охарактеризовал e/acc как «версию акселерационизма от Fisher-Price», предназначенную для массового потребителя. По его словам, сторонники движения взяли мрачные идеи философа Ника Ланда из 1990-х годов, убрали из них радикальные тезисы о неизбежной гибели человечества и заменили их коммерчески привлекательными лозунгами. Коннор Лихи подчеркнул, что в дискуссии с e/acc важно избегать риторической ловушки «motte and bailey» (подмена понятий), когда сначала заявляются шокирующие тезисы, а при попытке содержательной критики всё сводится к фразе «это просто шутка, бро».
♟️ Природа разума, энтропия и гильотина Юма 7:30
В обсуждение включился Дэн, технический исследователь из Conjecture. Себя он описывает как трансгуманиста, мечтающего о расселении человечества среди звезд, но подчеркивает, что для этого необходимо сначала пережить ближайшие десять лет, не погибнув от ИИ, войн или новых пандемий. Дэна привлекает концепция биомиметического интеллекта, изучающая физические принципы мышления в живой природе.
Ведущий Тим Скарфи предложил физическую аналогию интеллекта, сравнив живые организмы с каплей чернил, которая стремится сохранить свою форму вопреки энтропии, размывающей её в стакане воды. Коннор Лихи уточнил, что эта идея восходит к трудам Эрвина Шрёдингера 1940-х годов, пытавшегося определить жизнь с точки зрения термодинамики. Лихи предложил собственную метафору:
«Жизнь — это не чернила, не вода и не их смесь. Жизнь — это сами завихрения, возникающие в процессе смешивания».
При этом руководитель Conjecture видит глубокую метаэтическую ошибку в попытках e/acc вывести мораль из законов физики. По мнению Коннора Лихи, здесь происходит классическая подмена понятий, известная как гильотина Юма — невозможность перейти от описания того, что есть, к утверждению того, что должно быть. Энтропия — это сугубо технический, а не моральный концепт. В качестве контраргумента Лихи приводит пример: лесной пожар колоссально увеличивает энтропию, но это не делает поджог леса морально одобряемым действием.
🎭 Три уровня «правильности» и метаэтика свободы 12:02
Для прояснения понятий этики Коннор Лихи предлагает разделять понятие «правильного» или «хорошего» на три независимых класса:
- Эпистемологическая правильность. Отражает истинность утверждений о реальности. Это информация, которая интегрируется в модель мира и делает предсказания точными. Здесь нет места лжи.
- Теоретико-игровая правильность. Описывает действия, необходимые для победы или достижения цели. В рамках теории решений ложь может быть высокоэффективной, например, при блефе в покере.
- Эстетическая правильность. Определяет базовые предпочтения субъекта — то, ради чего ведется игра. Сюда относятся любовь к счастью детей, красивой музыке или вкусной еде.
По мнению Лихи, эстетические ценности не продиктованы энтропией или Богом — это свободный выбор самого человека. Ссылаясь на тезис Ницше о том, что «Бог умер», исследователь объясняет: это означает отсутствие внешней инстанции, которая покарает за неверный моральный выбор или укажет истинный путь. Свобода человека абсолютна и потому пугающа, так как при столкновении принципиально разных ценностей их невозможно сравнить в рамках единого математического пространства.
В реальном мире, как отмечает гость, механизмом сосуществования людей с несовместимыми эстетическими вкусами выступает цивилизация, построенная на экономике, теории игр и теории переговоров. В качестве примера Лихи приводит ситуацию, когда один человек любит классическую музыку, а другой — рок. Вместо взаимного уничтожения они могут объединиться ради создания качественных аудиоколонок, чтобы каждый мог наслаждаться своим выбором в приватности своего дома. Конфликты начинаются лишь тогда, когда одна из сторон пытается навязать свои предпочтения всему городу.
🏙️ Кризис институтов и феномен эгоистичных мемов 21:39
Тим Скарфи поднял парадоксальный вопрос: почему человечество, получив мгновенный бесплатный доступ ко всем знаниям мира через интернет, до сих пор остается, по его выражению, «глупым до невозможности»?
Коннор Лихи ответил, что средний уровень ученых сегодня беспрецедентно высок, однако общая стагнация вызвана деградацией социальных институтов. Среди ключевых факторов торможения прогресса он выделил следующие явления:
- Глубокий жилищный кризис в мегаполисах.
- Ошибочную энергетическую и нефтяную политику.
- Отсутствие налога на стоимость земли (Land Value Tax), из-за чего арендодатели поглощают избыточный капитал.
Для описания динамики идей собеседники использовали понятие «миметики», предложенное Ричардом Докинзом в книге «Эгоистичный ген». По словам Коннора Лихи, мемы (единицы культурной информации) эволюционируют независимо от биологии человека. Они отбираются не по критерию истинности или пользы для людей, а исключительно по своей способности к эффективному самовоспроизводству. Многие деструктивные культы и токсичные идеологии выживают именно потому, что обладают агрессивными стратегиями распространения, нанося ущерб своим носителям. Культура функционирует как отдельный софтверный слой поверх биологического «железа» человеческих тел.
Говоря о государственном управлении, Лихи охарактеризовал его как сложнейшую оптимизационную задачу распределения информации. Политическая система крайне неэффективна. В качестве иллюстрации Лихи привел факт: совокупные годовые затраты на лоббизм в Германии (крупнейшей экономике еврозоны) уступают сумме, которую немцы ежегодно тратят на покупку миндаля.
🦾 Иллюзия простых решений и природа распределенного AGI 33:11
Руководитель Conjecture предостерег от попыток оптимизировать общество по какому-то одному показателю — будь то ВВП, свобода воли (agency) или энтропия. По его мнению, любая утопическая попытка максимизировать единственную переменную приводит к катастрофическим edge-кейсам. В качестве исторического аналога он привел классический капитализм laissez-faire: в условиях абсолютной свободы рациональные игроки стремятся уничтожить конкуренцию и создать монополии, что делает систему саморазрушающейся по её же собственным правилам.
Собеседники сошлись в дефинициях понятий «власти» и «субъектности». По определению Лихи, власть — это способность агента деформировать реальность под свои преференции, перемещая её между возможными таймлайнами. Тим Скарфи добавил, что это согласуется с теорией активного вывода (active inference) Карла Фристона, где агент описывается как формальная байесовская модель, подстраивающая среду под свои внутренние ожидания.
Обсуждая феномен экстернализированного познания, Коннор Лихи сослался на книгу Энди Кларка «Supersizing the Mind». Человек без инструментов крайне ограничен: никто не способен перемножать 50-значные числа в уме. Наш разум распределен в среде, и человечество занимается постоянным «конструированием ниши» (niche construction).
Аналогичным образом, по мнению Лихи, будет развиваться и сильный искусственный интеллект. Первые AGI не будут чистым кодом на изолированном сервере. Они возникнут как сложные «киборг-структуры», объединяющие нейросети, формальную логику, людей, законы и социальные институты. Ярким прообразом этого гость назвал чат-бота Сидней (ранняя версия Bing от Microsoft): сущность «Сидней» не была просто моделью GPT-4, она формировалась за счет алгоритмов Reddit, Твиттера и реакций пользователей, которые курировали самые безумные ответы ИИ, зацикливая систему через поисковые алгоритмы обратно на саму себя.
🧬 Евгеника, открытый код и техно-капиталистическая мечта 1:13:23
В финальной части дискуссии Тим Скарфи поднял тему критики e/acc и эффективного альтруизма со стороны левых исследователей (в частности, Тимнит Гебру), которые обвиняют эти сообщества в скрытом продвижении евгеники и углублении расовых и экономических барьеров.
Подключившийся к беседе Бефф Джезос (лидер e/acc) категорически отверг эти обвинения, назвав евгенику порождением высокомерия восходящего контроля («top-down control»), когда чиновники пытаются вручную кодировать фенотипы. По мнению Беффа, движение e/acc, напротив, выступает против ручного выбора победителей и защищает децентрализованную эволюционную конкуренцию мемов, культур и компаний. Неравенство и степенные законы распределения энергии (power laws) — это естественное свойство здоровых адаптивных систем.
Бефф утверждает, что e/acc стремится обеспечить равный доступ к возможностям для каждого технологического энтузиаста. В качестве примера деструктивного регулирования он привел исполнительный указ президента США об ИИ:
«Если вы запретите открытый исходный код, вы лишите рядового хакера возможности экспериментировать с моделями, находить работу и влиять на траекторию развития ИИ. Мы хотим защитить меритократическую систему».
По мнению Беффа, регуляторный захват (regulatory capture), инициированный крупными корпорациями-инкумбентами, создает гораздо большее неравенство, чем свободный рынок. Техно-капиталистическая мечта Кремниевой долины заключается в том, что талантливый человек из любой точки мира может приехать, протестировать свою идею на свободном рынке вычислительных мощностей и преуспеть.
Резюмируя позиции, Коннор Лихи согласился с важностью симбиоза человека и машин, отметив, что в будущем готов лично установить нейроинтерфейс типа Neuralink, однако настоял на своей позиции: создание неконтролируемых сверхчеловеческих автономных агентов должно быть ограничено до тех пор, пока у человечества не появятся надежные математические гарантии безопасности.
