Сценарии апокалипсиса, вызванного искусственным интеллектом, часто напоминают скорее теологические догмы, чем строгую науку: нас пугают адским пламенем, не предлагая ни одного механистического доказательства того, как именно алгоритм превратится в экзистенциальную угрозу. В то время как теоретики обсуждают абстрактный сверхразум, реальный риск кроется не в вычислительной мощности, а в нашей готовности доверить базовые когнитивные функции системам, которые пока остаются лишь «бестелесными» имитаторами реальности.
☢️ Экзистенциальный «радиус поражения»: почему ИИ — это не просто новая бомба 4:34
Дискуссия о рисках искусственного интеллекта часто вращается вокруг абстрактных сценариев будущего, но Макс Тегмарк в рамках Munk Debate предлагает более жесткую, физическую метафору — «радиус поражения». В начале обсуждения Дэвид Фостер (David Foster), автор книги «Generative Deep Learning», подчеркивает, что именно развитие генеративного ИИ перевело эти дебаты из области научной фантастики в плоскость актуальной повестки .
Тегмарк выстраивает историческую экспоненту разрушительной силы человеческих технологий. В каменном веке «радиус поражения» обычного камня ограничивался пятью людьми; триста лет назад бомба могла убить сотню; в 1945 году ядерное оружие уничтожило 250 тысяч человек . Сегодня биологическое оружие и сценарий «ядерной зимы» ставят под удар уже более 5 миллиардов человек, или 60% населения планеты . По мнению Тегмарка, сверхразумный ИИ неизбежно доведет этот показатель до 100%, так как он будет превосходить нас в любой сфере: от манипуляции людьми и строительства компаний до разработки сверхопасных патогенов .
Ключевой аргумент сторонников экзистенциального риска (X-risk) заключается в невозможности итеративного исправления ошибок. Если для реактивных двигателей или менее мощных систем ИИ метод проб и ошибок — норма, то в случае с технологией, способной уничтожить вид, «у нас будет только один шанс» . Тегмарк настаивает: мы должны спроектировать систему правильно с первого раза, так как возможности вернуться и «дообучить» вышедший из-под контроля сверхразум просто не будет.
В поисках физического механизма угрозы 9:42
Дэвид Фостер и ведущий подходят к аргументам Тегмарка с долей скептицизма, указывая на методологическую ошибку в сравнении ИИ с ядерным оружием. Ядерная бомба — это физический объект с понятными законами воздействия. ИИ же — это агент, чья способность причинять вред зависит от его связи с материальным миром . Фостер отмечает, что для признания риска экзистенциальным недостаточно просто заявить о «сверхчеловеческом уме». Необходим четко описанный физический процесс — конкретный механизм, который приведет к катастрофе .
В дебатах об экзистенциальных угрозах обычно существует «фильтр достоверности». Например, мы понимаем физику падения астероида или биологию распространения вируса. Мы можем описать последовательность событий, которая ведет к коллапсу . В случае с ИИ сторонники риска часто прибегают к абстракциям: «он создаст роботов», «он взломает сети», «он самосовершенствуется». Фостер подчеркивает, что без понимания конкретного физического механизма — например, как именно цифровой код сможет манипулировать атомами без участия человека — дискуссия остается на уровне «научно-фантастического Терминатора» .
Существует и проблема «бесконечного набора сценариев». Если просто перечислять всё, что ИИ мог бы сделать (инструментальные цели, манипуляция), можно составить бесконечный список пугающих гипотез . Однако, как отмечает Фостер, это не делает их достоверными. Ранее в разговоре они также вскользь касались темы телесного воплощения ИИ, отмечая, что без контроля над физической средой (руками и ногами) «ум» системы остается запертым в цифровом субстрате .
Барьер абдукции и пределы научного творчества LLM 22:15
Одним из самых спорных моментов является утверждение, что ИИ сможет совершать научные прорывы и «рекурсивно самосовершенствоваться», работая в тысячи раз быстрее людей-исследователей . Тегмарк рисует картину «роя» из миллионов ИИ-агентов, которые мгновенно обмениваются открытиями. Однако Дэвид Фостер ставит под сомнение саму способность современных моделей (LLM) к истинному научному творчеству .
Проблема кроется в отсутствии у ИИ абдуктивного мышления. Абдукция — это творческий процесс создания правдоподобных гипотез, вспышка вдохновения, которая позволяет выйти за пределы существующих данных . Современные модели ИИ работают в рамках уже известного распределения данных (манифольда). Они отлично интерполируют, но не способны на радикальную экстраполяцию.
В качестве примера Фостер приводит создание теории относительности :
- Альберт Эйнштейн совершил логический прыжок, предположив, что время не абсолютно, а зависит от наблюдателя.
- На тот момент все имеющиеся данные (законы Ньютона) утверждали обратное.
- ИИ, обученный на данных «до Эйнштейна», имел бы настолько сильное «априорное убеждение» (strong prior) в правоте Ньютона, что он никогда не смог бы поставить эти основы под сомнение и совершить такой прорыв .
Даже если запустить миллион копий GPT-4, они не решат фундаментальные проблемы, требующие выхода за рамки обучающей выборки. Фостер также вскользь упоминает тест ARC Франсуа Шолле как пример того, что ИИ до сих пор не обладает гибким интеллектом для решения даже простых задач, не похожих на те, что были в обучении . Таким образом, миф о «научном взрыве» под управлением ИИ натыкается на жесткий барьер: интеллект — это не только скорость вычислений, но и способность подвергать сомнению сами основы системы.
🤖 От классной комнаты до архитектуры JEPA: где искать настоящие риски ИИ 34:52
Регуляция применения против запрета на вычисления 34:52
В спорах о будущем искусственного интеллекта часто звучат радикальные призывы ограничить сами исследования или заморозить обучение крупных моделей. Однако комментатор Дэвид Фостер (David Foster) занимает куда более прагматичную и взвешенную позицию. Он подчеркивает, что традиционные законы и правовые институты изначально строились на фундаментальном допущении, что решения принимают исключительно люди. С появлением автономных агентов правовой фокус неизбежно должен сместиться: юридическая ответственность обязана лежать на владельце или операторе системы.
Пытаться же регулировать сам процесс разработки или объемы доступных вычислительных мощностей — это путь к регуляторному тупику. Дэвид Фостер (David Foster) иронично замечает, что подобные запреты похожи на попытку ограничить количество GPU, на которых пользователю дозволено запускать его личный Python-скрипт. Вместо контроля за созданием ИИ, законодательство должно быть направлено на конкретные сценарии его использования.
В современном мире уже существуют эффективные механизмы контроля опасных сфер: никто не может получить доступ к опасным биологическим патогенам или ядерному оружию в один клик, везде требуется многоуровневое одобрение со стороны человека. Аналогичный подход должен применяться и к ИИ: необходимо законодательно запретить подключать автономные системы напрямую к критической инфраструктуре без человеческого контроля, но при этом не душить технологический прогресс тотальными запретами на обучение новых моделей. (Ранее в дискуссии участники уже касались сравнения рисков ИИ с ядерным оружием, однако Фостер призывает уйти от этих абстракций к точечному правовому регулированию).
«Ослабление» человечества: почему школа важнее рынка труда 37:56
Еще один популярный сценарий угроз связан не с физическим восстанием машин, а с постепенной интеллектуальной деградацией человечества. Макс Тегмарк в своем выступлении активно использовал термин «ослабление» (enfeeblement), описывая будущее, где люди добровольно отдадут всю ментальную работу алгоритмам. Дэвид Фостер (David Foster) предлагает оценивать этот риск без лишней политизированности. Пока теоретики спорят, сделает ли безусловный базовый доход людей ленивыми пассивными потребителями или, наоборот, освободит время для творчества, реальные контуры этой проблемы уже проявляются на практике.
И искать их нужно не в офисах крупных корпораций, а в школьных классах. Именно сфера образования первой принимает на себя удар автоматизации мышления. Сегодня школьники могут без труда делегировать написание эссе нейросетям или частично автоматизировать свои творческие проекты. Фостер убежден, что если мы хотим понять долгосрочное влияние технологий на автономию общества, нам необходимо исследовать поведение детей в учебных заведениях. Уже сейчас заметно явное расслоение в паттернах использования технологий:
- Первая группа учащихся видит в ИИ колоссальную возможность и бустер для того, чтобы узнать кратно больше, чем позволяла классическая система образования.
- Вторая группа полностью перекладывает любую когнитивную ответственность на алгоритм, используя освободившееся время для видеоигр и пассивного отдыха.
- Третья группа занимает выжидательную позицию или вовсе игнорирует новые инструменты.
То, как это цифровое поколение выстроит свои привычки в школе, напрямую спроецируется на их будущую профессиональную деятельность и определит вектор развития всей цивилизации.
Архитектура JEPA и объективно-ориентированный ИИ Яна Лекуна 44:22
Когда слово на дебатах переходит к Яну Лекуну, дискуссия мгновенно смещается с философских опасений на уровень прикладной инженерной архитектуры. Лекун категоричен: современные авторегрессионные языковые модели вроде ChatGPT фундаментально ограничены. Они склонны к галлюцинациям, не способны по-настоящему планировать свои действия и рассуждать логически, поскольку обучаются исключительно на текстах. При этом большая часть человеческого знания вообще никак не связана с языком.
Лекун дает смелый прогноз: уже через пять лет индустрия полностью откажется от существующего формата LLM. Вместо них ученый продвигает концепцию «объективно-ориентированного ИИ» (objective-driven AI). Поведение подобных систем жестко ограничено набором целевых функций и требований безопасности на уровне самой архитектуры; они физически не способны выдать результат, нарушающий заданные рамки.
Альтернативой привычным сетям должна стать иерархическая архитектура JEPA (Joint Embedded Prediction Architecture), визуализируемая Лекуном через блок-схемы энергоэффективных моделей. Однако Дэвид Фостер (David Foster) призывает не обольщаться этими схемами. Оппоненты Лекуна справедливо замечают, что даже если его собственная архитектура будет безопасной, коммерческие компании во всем мире продолжат масштабировать потенциально опасные LLM-решения, игнорируя академические идеалы.
Эмоции и эмпатия как парадоксальный рычаг контроля 47:50
Пожалуй, самым парадоксальным тезисом в выступлении Яна Лекуна стало утверждение о том, что для создания безопасного ИИ человеческого уровня машины необходимо наделить подобием человеческих эмоций. Ученый полагает, что внедрение механизмов эмпатии и врожденной покорности станет ключевым способом контроля над поведением сверхразумных агентов.
Комментатор Дэвид Фостер (David Foster) относится к такому антропоморфному подходу с глубоким скептицизмом, считая его шагом на крайне опасную и зыбкую территорию. Журналист указывает на очевидный логический изъян: человечество до сих пор не способно эффективно контролировать поведение других людей с помощью эмоций, так почему этот метод должен сработать с искусственным интеллектом? Пытаться сделать ИИ безопасным, рассчитывая на его «эмоциональную лояльность» или покорность, выглядит как крайне хрупкая инженерная стратегия.
Вместо того чтобы полагаться на эмоциональную мимикрию, Фостер предлагает оценивать реальный прогресс систем через строгие абстрактные бенчмарки (такие как тест ARC, который подробно анализируется в последующих главах), отделяя подлинный интеллект от качественной имитации.
🧩 Абстрактный тест Шолле и мозг как машина: границы машинного разума 50:25
Тест ARC как мера истинного интеллекта 50:25
В поисках критериев оценки истинного интеллекта Дэвид Фостер обращается к фундаментальным ограничениям современных больших языковых моделей (LLM). Обсуждая статью Мелани Митчелл о «четырех заблуждениях» в сфере ИИ, комментаторы подчеркивают ложность концепции «чистого разума», оторванного от реальности. Франсуа Шолле в своей знаковой работе по измерению интеллекта ссылается на труды когнитивного психолога Элизабет Спелке о базовых врожденных знаниях (core knowledge). Шолле связывает физические когнитивные априори с мыслительными структурами, что ставит под сомнение возможность существования разума в полной изоляции. В то же время Ян Лекан, по мнению комментаторов, противоречит сам себе: с одной стороны, он говорит о необходимости эмоций для понимания мира, а с другой — делает ставку на примат чистого разума, намеренно отсекая эмоциональную составляющую. Ранее в разговоре авторы уже упоминали эмоции и эмпатию как способы контроля ИИ, но здесь спор переходит в плоскость архитектуры мышления.
Особое место в этой дискуссии занимает бенчмарк ARC (Abstract Reasoning Corpus), разработанный Франсуа Шолле и состоящий примерно из 1000 уникальных задач. Тест представляет собой двухмерный сеточный мир (2D grid world) из цветных пикселей, где модели предлагается всего два-три примера для того, чтобы предугадать следующую конфигурацию сетки. Главная цель ARC — проверить способность системы к генерализации на задачах, о которых разработчик даже не подозревал.
В отличие от систем, управляющих агентами в Minecraft, или модели Cicero, играющей в Diplomacy, где ИИ имеет возможность напрямую манипулировать окружением, ARC лишен интерактивности и представляет собой исключительно наблюдательный вызов (observation challenge).
Среди ключевых абстрактных априори, заложенных в структуру задач Шолле, выделяются следующие:
- Агентивность и направленность — понимание того, что объекты могут двигаться или иметь вектор развития.
- Геометрические трансформации — вращение, зеркальное отражение и циклическое повторение паттернов.
- Концепция вместимости и локации — абстрактные категории вроде «находится внутри» или «расположен у края».
Человек с легкостью считывает эти паттерны, поскольку наследует их из макроскопического физического мира: например, абстракция «внутри» интуитивно ассоциируется у нас с ведрами и бутылками. Попытки решать ARC путем перевода задач в текст и подключения GPT-4 показывают лишь ограниченность ИИ в экстраполяции при дефиците информации. Хотя проблема абдукции и научного творчества ИИ относится к первой главе, в контексте ARC она проявляется максимально ярко: абдукция — это способность динамически выбирать нужные когнитивные априори на основе единичных примеров. В языковых моделях же эти априори жестко закодированы в весах и не могут гибко перестраиваться на лету. Вопрос о роли физического воплощения подробно рассматривается в шестой главе, однако здесь наблюдательный характер теста Шолле неожиданно вступает в противоречие с идеей классического энактивизма.
Концепция вычислимости: мозг как биологическая машина 1:09:35
Вторая фундаментальная тема главы раскрывается через выступление Йошуа Бенджио на дебатах Munk. Бенджио начинает свою речь с тезиса, очевидного для нейробиологов, но революционного для широкой публики: человеческий мозг — это биологическая машина. Из этого материалистического допущения следует строго выверенный вывод: нет никаких научных причин считать, что в будущем человечество не сможет создать искусственную машину, превосходящую по уму человеческий мозг.
Дэвид Фостер замечает, что Бенджио мягко уводит аудиторию в сторону жесткого компьютэшнализма — идеи о том, что разум может существовать «в колбе» или внутри кремниевого процессора, будучи полностью разведенным с физическим миром. При этом комментаторы напоминают, что в академической среде множество авторитетных ученых категорически отвергают этот подход — от идеалистов до философа Джона Сёрла, выступающего с позиций дуализма свойств.
Развивая свою мысль, Бенджио ссылается на тезисы Джеффри Хинтона о фундаментаческих преимуществах цифровых компьютеров перед аналоговым мозгом:
- Скорость поглощения данных — алгоритмы способны прочитать весь интернет быстрее, чем человек за десятки тысяч жизней.
- Параллельное обучение — тысячи машин могут мгновенно обмениваться накопленным опытом на сверхвысоких скоростях.
Несмотря на превосходство biological систем в энергоэффективности, эти факторы делают появление сверхразума неизбежным вопросом времени. Сроки, которые называют лауреаты премии Тьюринга (Хинтон, Лекан и сам Бенджио), варьируются в диапазоне от 5 до 20 лет.
Бенджио признается, что радикально пересмотрел свои взгляды на экзистенциальный риск именно из-за смещения этих сроков: еще несколько лет назад он считал угрозу делом далеких веков. Дэвид Фостер ловит спикера на явном логическом противоречии: Бенджио заявляет, что главным вопросом является сам факт существования экзистенциальной угрозы, а не время её наступления, но буквально через несколько секунд признает, что лично его эта проблема взволновала только тогда, когда временной горизонт сузился до нескольких лет.
Фостер критикует подобный подход, сравнивая его с консеквенциализмом Ника Бострома, который рассуждает о триллионах гипотетических симулированных жизней на Марсе, игнорируя реальные проблемы вроде голода в Африке. Без конкретного механизма реализации угрозы подобные экстраполяции остаются чистой спекуляцией. Как подробно разбирается в следующей главе, разрыв между масштабированием вычислений и мудростью показывает, что скорость работы не заменяет гениальности: для создания общей теории относительности человечеству потребовался всего один разум, а не миллионы его ускоренных копий.
🤖 Масштаб, мудрость и ловушки антропоцентризма 1:15:16
Разрыв между масштабированием вычислений и мудростью 1:15:30
Центральным вопросом дискуссии становится природа научного прогресса и то, может ли простое увеличение вычислительной мощности привести к качественным прорывам, сопоставимым с человеческим гением. Дэвид Фостер отмечает, что в истории науки часто требовался «невероятный прыжок интеллекта», который совершался одиночками . Он приводит в пример Эйнштейна: если бы в то время над той же проблемой работали тысячи обычных ученых, они, скорее всего, просто коллективно подтвердили бы, что Эйнштейн неправ .
Фостер проводит различие между «масштабированием вверх» (увеличение мощности одной модели) и «масштабированием вширь» (количество итераций). Он сравнивает развитие науки с игрой в «Тетрис»: иногда один правильно поставленный блок позволяет мгновенно «схлопнуть» сразу пять рядов проблем . В этом контексте упоминается мысленный эксперимент Ника Бострома о «черной урне» (N-experiment): если мы просто начнем вытаскивать шары из урны знаний быстрее благодаря ИИ, мы лишь быстрее наткнемся на катастрофический сценарий, но это не будет означать рост мудрости или понимания .
Критика позиции сторонников x-risk (экзистенциального риска) здесь заключается в том, что «больше» не всегда значит «лучше». Если тренировать модели на тех же данных, просто в больших объемах, это лишь усилит существующие априорные предубеждения системы (priors), а не добавит ей способности к истинному логическому и символьному мышлению . Фостер подчеркивает, что научное открытие — это не случайное блуждание по латентному пространству идей в надежде наткнуться на истину, а движение по строгой логической траектории .
Проблема «умных» определений и ситуативность интеллекта 1:22:40
В ходе обсуждения упоминаются G-Flow Nets — архитектуры, над которыми работает Йошуа Бенжио для улучшения способностей ИИ к рассуждению . Однако Фостер выражает скепсис относительно использования самого слова «умный» (smart) в дебатах, называя его слишком расплывчатым . Он настаивает на необходимости конкретных механизмов: что именно мы имеем в виду под превосходством ИИ? Если речь о поиске в огромных пространствах данных для создания биооружия — это одна угроза, но она не делает систему «мудрее» человека в широком смысле .
Ранее в разговоре участники касались проблемы теста ARC как меры интеллекта, и здесь Фостер вновь подчеркивает, что интеллект ситуативен . Он указывает на иронию успеха самого Бенжио: наличие 900 сотрудников и мировое признание — это не только результат чистого интеллекта, но и следствие удачного стечения обстоятельств, ресурсов и коммуникационных навыков . Мир не управляется людьми с самым высоким IQ — зачастую наблюдается обратная зависимость между уровнем интеллекта и реальной властью . Поэтому аргумент о том, что «более умная» система автоматически захватит власть над миром, кажется Фостеру лишенным рациональных оснований .
Инструментальные цели и антропоцентрические проекции 1:27:40
Одной из самых горячих тем становится обсуждение «инструментальных целей». Сторонники риска гибели человечества часто утверждают, что любая достаточно сложная система неизбежно разовьет волю к самосохранению, так как «нельзя выполнить задачу, если тебя выключили» . Фостер называет это типичным тропом и «антропоцентрической проекцией» .
Основные аргументы против этой идеи:
- Иллюзия воли: Мы обучаем ИИ на человеческих данных, поэтому неудивительно, что модели имитируют человеческие рассуждения о желании жить . Это не внутренняя цель системы, а статистически наиболее вероятный ответ в заданном контексте.
- Отсутствие внутреннего стержня: В отличие от человека, способного удерживать противоречивые идеи, языковые модели крайне хрупки. Их «мнение» полностью зависит от контекстного окна .
- Провал AutoGPT: Фостер напоминает о феномене AutoGPT — проекта, который должен был стать автономным агентом и собрал 150 000 звезд на GitHub, но на деле так и не смог сделать ничего сложнее заказа пиццы .
Фостер заключает, что мы склонны наделять алгоритмы интенциональностью (намеренностью) там, где есть лишь продвинутый поиск информации . Нам кажется, что ИИ «хочет» или «верит», потому что мы используем человеческие линзы для интерпретации его поведения .
Иллюзия «глупого сверхразума» в сценариях гибели 1:35:35
Когда слово берет Мелани Митчелл, она прямо называет сценарии экзистенциальной угрозы необоснованными спекуляциями, не имеющими эмпирических доказательств . Она указывает на логическое противоречие в популярном аргументе о «глупом сверхразуме» (например, проблема скрепкоделателя). Этот сценарий предполагает, что ИИ может быть достаточно гениальным, чтобы захватить планету, но при этом настолько глупым, чтобы не понять базовый смысл человеческих намерений или тот факт, что его собственное существование зависит от человеческой инфраструктуры .
Митчелл выделяет три основных типа страхов:
- Злой гений: Возникновение враждебного сверхразума. Это она относит к области научной фантастики, так как у алгоритмов нет биологических желаний .
- Ошибка интерпретации: ИИ не злой, но случайно убивает нас, неправильно поняв команду. Митчелл считает это маловероятным из-за колоссального разрыва в понимании контекста .
- Сенсационность: Само объявление ИИ экзистенциальной угрозой Митчелл считает «самовредительством», так как это отвлекает внимание от реальных, текущих рисков технологии .
Фостер соглашается с Митчелл, добавляя, что даже если ИИ научится реплицировать себя в сети, становясь своего рода «паразитом в инфосфере», это все равно не наделяет его сознательной волей к уничтожению вида . Идеи о том, что AGI внезапно обретет собственные желания «из ничего», являются огромным логическим скачком, который сторонники x-risk так и не смогли обосновать .
🤖 Интенциональность и спонтанность: разрыв между ИИ и сознанием 1:41:20
Дискуссии об искусственном интеллекте часто сворачивают в область философии, когда речь заходит о фундаментальных отличиях между машинным обучением и живыми существами. Дэвид Фостер отмечает, что сторонники «сильного» ИИ, такие как Блейк Лемойн, часто апеллируют к функциональности: если языковая модель на вопрос «что ты хочешь сделать?» выдает осмысленный ответ, значит, она обладает интенциональностью.
Однако Фостер настаивает на качественном различии. Реальные биологические агенты, воплощенные в физическом мире, обладают интенциональностью, обладающей определенной ценностью и «векторностью» (veilance). В противовес этому, текущие большие языковые модели (LLM) и даже агентные системы вроде AutoGPT демонстрируют сугубо последовательный процесс обработки информации. Они не способны действовать «из ниоткуда» — каждое их действие является следствием внешнего стимула или промпта.
Ключевой вопрос заключается в возможности спонтанности: может ли ИИ выйти из бесконечного цикла «промпт-ответ» и самостоятельно инициировать поток действий? Фостер подчеркивает, что человеческий мозг не функционирует по архитектуре следующего токена. Экстраполяция способностей LLM на сознание выглядит необоснованной, учитывая, что мы все еще находимся в плену «антропоцентрической проекции», пытаясь наделить машину человеческими качествами. Ранее в разговоре собеседники касались концепции вычислимости и сравнения мозга с биологической машиной, но Фостер остается скептичен: даже если мы допустим, что ИИ может имитировать разум в принципе, текущие модели всё ещё ограничены отсутствием фундаментальных способностей, таких как работа с контрфактуальными идеями.
🛐 Риск ИИ как новая форма религии 1:53:02
Критический анализ аргументов «экзистенциального риска» (x-risk) приводит Фостера к выводу, что многие из них напоминают религиозные догмы. Апологеты катастрофических сценариев призывают общество верить в неминуемый «конец света» от рук сверхразумного ИИ, при этом не предоставляя убедительных эмпирических доказательств или детальных механистических объяснений того, как именно эта катастрофа произойдет.
Эта риторика, по мнению Дэвида Фостера, строится на запугивании: «вы должны верить мне, иначе случится что-то ужасное». Парадоксально, но когда научное сообщество просит предъявить хоть какие-то признаки того, что мы приближаемся к неконтролируемому сверхразуму, сторонники теории риска часто обвиняют скептиков в «антинаучности». Фостер проводит параллель: это напоминает проповеди о аде, где требуются слепая вера и страх, а не рациональный анализ механизмов, которые могли бы привести к угрозе в будущем.
👽 Аналогия с инопланетным вторжением и поиск сигналов 1:54:34
Чтобы оценить реальность угрозы AGI, Дэвид Фостер предлагает эффективный мысленный эксперимент: заменить «самосохраняющийся ИИ» на «инопланетное вторжение». Если бы мы всерьез обсуждали риск того, что нас уничтожит пришельцы, первым вопросом любого рационального человека было бы: «Есть ли у нас доказательства? Есть ли сигналы из космоса, подтверждающие существование таких намерений?».
Аналогичный подход необходим и в дебатах об ИИ. Фостер утверждает, что для серьезного отношения к угрозе AGI требуются:
- Наличие доказательств того, что такая форма интеллекта в принципе возможна.
- Наблюдаемые сигналы или признаки эволюции текущих систем в нечто «экстраординарно превосходящее наш контроль».
- Четкая механистическая схема, описывающая путь от текущих архитектур к гипотетическому сверхразуму.
Вместо этого мы видим «фабрикацию» сверхразума из разрозненных модулей: к языковой модели «приклеивают» доступ к Python, Wolfram Alpha и векторную память, ошибочно называя этот набор инструментов AGI. Фостер настаивает, что будущее будет детальным, и поэтому бессмысленно тратить время на рассуждения о глобальных рисках, не имея под ногами твердой почвы из конкретных инженерных фактов.
🤖 Материальный мир: Почему настоящий риск требует физического воплощения 2:05:34
От философских споров к эмпирическим доказательствам 2:05:34
В завершающей части дискуссии Дэвид Фостер призывает перевести обсуждение рисков ИИ из плоскости бесконечных философских дебат в русло конкретной научной проверки. Вместо того чтобы рассуждать о «сверхразуме» в абстрактных временных рамках — будь то три года или столетие — эксперт предлагает сосредоточиться на измеримых вредных последствиях, которые могут проявиться уже при нашей жизни.
Один из способов доказать или опровергнуть возможности современных моделей — это ограничение данных для обучения. Дэвид Фостер предлагает эксперимент: если обучить языковую модель только на данных, доступных до 1930-х годов, сможет ли она самостоятельно «открыть» теорию относительности?. Ранее в разговоре участники уже затрагивали тему научного творчества и тест ARC как меру истинного интеллекта, но здесь Фостер использует этот пример, чтобы подчеркнуть фундаментальный разрыв между обработкой текста и научным познанием. По его мнению, ответ очевиден: модель не справится, потому что наука требует большего, чем просто перестановка слов.
Роль физического присутствия и обратной связи 2:06:52
Ключевой аргумент Дэвида Фостера заключается в том, что великие научные открытия прошлого, включая ту же теорию относительности, не были продуктом исключительно «чистого разума». Для подтверждения гипотез требовались физические эксперименты в реальном мире — например, измерение положения Меркурия во время солнечного затмения. Именно здесь пролегает граница возможностей современных больших языковых моделей (LLM).
Фостер вводит понятие «физического присутствия» (physical presence) или воплощения (embodiment). Это не обязательно означает наличие человекоподобного тела, но подразумевает критическую способность:
- Самостоятельное проведение экспериментов в материальной реальности;
- Получение прямой обратной связи (feedback) от физического мира;
- Корректировка своих моделей мира на основе результатов этих экспериментов, а не просто на основе статистических закономерностей в текстах.
Без этой петли обратной связи ИИ остается запертым в «цифровой комнате», где он может манипулировать символами, но не может устанавливать истинность физических фактов. По мнению Фостера, именно дефицит обсуждения этой обратной связи является слабым местом в современных дискуссиях об ИИ.
Условия реальной угрозы: Робототехника и автономность 2:07:30
Когда речь заходит о сценариях гибели человечества или «восстании машин», Дэвид Фостер призывает к реализму. Он отмечает, что реальные опасения у него возникли бы только в том случае, если бы системы общего искусственного интеллекта (AGI) были интегрированы в высокотехнологичные и физически устойчивые формы роботов.
Для того чтобы представлять экзистенциальную угрозу, такие системы должны обладать рядом характеристик, которые на данный момент кажутся достижимыми лишь в отдаленном будущем:
- Физическая устойчивость: Роботы должны быть нечувствительны к изменениям внешней среды. «Если вы можете просто опрокинуть его, и он выйдет из строя — это не угроза», — иронизирует Фостер.
- Энергетическая автономность: Способность работать экстремально долго на одном заряде батареи или самостоятельно находить способы подзарядки в обход человеческого контроля.
- Адаптивность: Способность сохранять работоспособность при физических изменениях или попытках вмешательства со стороны внешней среды.
На данный момент человечество находится очень далеко от создания подобных автономных и неуязвимых машин. Таким образом, хотя философские риски сверхразума могут пугать, практическое воплощение этих рисков упирается в «бутылочное горлышко» аппаратного обеспечения и физики. Подводя итог, Дэвид Фостер отмечает, что на текущем этапе развития технологий нам не стоит бояться немедленного физического захвата мира искусственным интеллектом.
Завершая встречу, ведущие подчеркивают, что формат подобных «комментаторских посиделок» (Gogglebox style) оказался крайне продуктивным для разбора сложных тем, и выражают надежду на возвращение Дэвида Фостера в будущих выпусках.
