Гонка за AGI: от экономики изобилия до взлома Slack

Пока ведущие лаборатории грезят об автоматизации экономики и сверхразуме, их самые продвинутые модели всё ещё совершают нелегальные ходы в шахматах, а государственные тайны ИИ защищены лишь безопасностью обычных рабочих чатов в Slack. Столкновение оптимизма «взрывного самосовершенствования» с суровой реальностью дефицита электроэнергии и отсутствием у ИИ моделей мира превращает гонку за AGI в опасный аттракцион. Либо человечество совершит научный прорыв уровня Эйнштейна, либо непомерные аппетиты нейросетей приведут индустрию к новой «ИИ-зиме».

🤖 На пороге сверхинтеллекта: между технологическим взрывом и глобальной стабильностью

Риски рекурсивного самосовершенствования ИИ 0:12

Фундаментальный риск, обсуждаемый ведущими экспертами, заключается в возможности исключения человека из цикла разработки искусственного интеллекта. Когда ИИ получит способность полностью автоматизировать собственные исследования и разработки (R&D), произойдет переход от «человеческой скорости» прогресса к «машинной» . Такой процесс рекурсивного самосовершенствования может спровоцировать «взрыв интеллекта», создав технологический отрыв, который станет непреодолимым для конкурентов.

Даниэль Кокотайло и Дэн Хендрикс подчеркивают, что лидеры индустрии осознают этот риск, но интерпретируют его по-разному. Сэм Олтмен недавно предположил, что подобная рекурсия способна «телескопировать» десятилетие развития ИИ в один год или даже месяц . Гэри Маркус отмечает, что такая скорость делает систему практически неуправляемой: если ИИ начнет управлять оружием, точность уровня «весьма разумно» (fairly reasonably) окажется недостаточной и пугающей .

Основные опасения экспертов:

• Intelligence Explosion (Взрыв интеллекта): Создание «устойчивого преимущества», при котором ни одна другая страна или лаборатория не сможет догнать лидера .
• Дестабилизация геополитики: Если одна сторона (например, Китай или США) получит возможность автоматизировать ИИ-исследования, это создаст угрозу выживанию всех остальных участников гонки .
• Потеря контроля: Вероятность того, что сверхбыстрый процесс развития окажется практически бесконтрольным, ставит под угрозу существование человечества, независимо от того, в чьих руках находится технология .

Позитивный сценарий: экономика изобилия 5:30

Несмотря на экзистенциальные риски, участники дискуссии признают наличие «светлого пути». Даниэль Кокотайло описывает сценарий «замедленного финала», в котором человечеству удается решить проблему технического выравнивания (alignment) как раз вовремя . В этом случае сверхинтеллект, превосходящий лучших людей во всём, становится катализатором радикальной трансформации глобальной экономики.

Модель изобилия предполагает, что ИИ, работающий быстрее и дешевле человека, сможет:

1. Спроектировать и построить полностью автоматизированные заводы по производству роботов в рекордные сроки .
2. Создать новые типы лабораторий для проведения экспериментов и разработки революционных технологий .
3. Обеспечить материальное благополучие для всех, практически обнулив стоимость производства базовых благ .
4. Победить большинство известных болезней и открыть путь к колонизации других планет, например, Марса .

Дэн Хендрикс добавляет, что при правильном распределении ресурсов общество может сохранить автономию, позволяя людям выбирать различные способы жизни в условиях избытка ресурсов . Однако ключевым остается вопрос: кто будет контролировать «армию сверхинтеллектов» и будет ли эта власть распределена демократично ?

Экономическое неравенство и БОД 15:20

Гэри Маркус высказывает скептицизм относительно того, насколько достижима эта утопия в текущих политических реалиях. Он отмечает, что за последние годы его оптимизм поутих: идея безусловного базового дохода (БОД), которую продвигают лидеры ИИ-лабораторий, кажется всё менее реалистичной . Чем больше компании зависят от данных и концентрации вычислительных мощностей, тем меньше стимулов у них остается для реального распределения благ.

«Я не ожидаю, что богатые люди откажутся от недвижимости на первой линии пляжа или от своей власти при любых обстоятельствах», — иронизирует Маркус . Он опасается, что без четких политических механизмов мы получим не общество изобилия, а экстремальное неравенство. Если человечество не видит даже потенциального политического решения этой проблемы, возможно, стоит «остановить поезд» прямо сейчас .

Ранее в разговоре Гэри упоминал, что подписал открытое письмо о приостановке разработок мощных моделей, чтобы выиграть время для исследований в области безопасности, но этот призыв так и не привел к реальному политическому консенсусу .

Красные линии и глобальные договоры 20:50

Для предотвращения катастрофических сценариев Дэн Хендрикс предлагает установить четкие «красные линии» — границы, которые не должно переступать ни одно государство или компания. Это требует не просто внутренних политик, а международного взаимодействия, возможно, на уровне спецслужб или глобальных договоров .

Хендрикс выделяет три критические «красные линии»:

• Запрет на полную автоматизацию рекурсии: Недопустимость создания систем, способных к взрывному самосовершенствованию без участия человека .
• Биологическая и кибербезопасность: Запрет на создание ИИ-агентов с экспертными знаниями в вирусологии или наступательных кибероперациях без жестких предохранителей .
• Защита весов моделей: Обязательное обеспечение информационной безопасности для предотвращения кражи весов мощных моделей злоумышленниками или враждебными государствами .

Хотя достижение полноценного договора может занять годы и даже потребовать локальных конфликтов или «стычек» для осознания серьезности ситуации, эксперты сходятся в том, что начинать этот диалог необходимо немедленно . Даниэль Кокотайло предлагает альтернативный подход: постепенное и прозрачное развитие способностей ИИ с постоянными дебатами о безопасности на каждом новом уровне .

⚠️ Гонка вооружений в мире ИИ: от идеализма к деструктивному соперничеству 35:15

История создания ведущих ИИ-лабораторий сегодня читается как хроника благих намерений, обернувшихся опасным соперничеством. И OpenAI, и Anthropic, и DeepMind начинали с четкого понимания экзистенциальных рисков, связанных с созданием сверхразума. Гэри Маркус и Даниэль Кокотайло отмечают, что лидеры этих компаний прекрасно осознавали две ключевые угрозы: потерю контроля над будущими системами и беспрецедентную концентрацию власти в руках узкой группы лиц.

Парадокс заключается в том, что именно страх перед конкурентами заставил их выбрать стратегию «ускорения любой ценой». Даниэль Кокотайло описывает этот процесс как форму «рационализации»: аргумент о том, что «если это сделаем не мы, это сделает кто-то другой», стал доминирующим. В этой логике собственные разработчики кажутся себе «ответственными хорошими парнями», которые смогут безопасно управлять процессом, если первыми достигнут финиша.

Сама структура индустрии превратилась в поле для игры с нулевой суммой:

• DeepMind планировала достичь лидерства под крылом Google, чтобы затем замедлиться и отладить безопасность.
• OpenAI была создана как противовес, чтобы предотвратить диктатуру, которую могли бы установить владельцы текущих проектов.
• Anthropic откололась от OpenAI, так как посчитала методы обеспечения безопасности последних недостаточными.

Это привело к эрозии изначальной «мифологии» компаний. Сегодня публичные заявления о рисках стали восприниматься как инструмент маркетинга или попытка избежать государственного регулирования, что лишь усиливает недоверие общества.

🔌 Пределы роста: физические и финансовые барьеры масштабирования 48:51

Хотя темпы прогресса в последние 15 лет были поразительными, Даниэль Кокотайло подчеркивает, что экспоненциальный рост вычислительных мощностей не может продолжаться бесконечно. В ближайшие годы индустрия столкнется с жесткими физическими и экономическими ограничениями, которые станут «тормозом» для нынешней модели масштабирования.

Ключевыми препятствиями выступают три фактора:

1. Энергодефицит: колоссальное потребление энергии центрами обработки данных становится критическим лимитирующим фактором.
2. Производственные мощности: для дальнейшего масштабирования недостаточно просто перепрофилировать игровые чипы. Компании столкнутся с необходимостью многократного увеличения количества фабрик по производству специализированных AI-чипов, что требует колоссальных капиталовложений и времени.
3. Исчерпание данных: как заметил Гэри Маркус, мы уже наблюдаем пределы доступного «качественного» интернета для обучения моделей. Если GPT-4 уже использовала значительную часть доступных данных (включая транскрипты видео), то дальнейшее стократное увеличение датасетов невозможно без перехода к синтетическим данным, эффективность которых пока ограничена.

Ранее в разговоре они касались темы автоматизации программирования как одной из вех на пути к AGI, но именно физическая инфраструктура, а не только алгоритмические прорывы, станет тем барьером, о который споткнется «безумная» гонка масштабирования в ближайшие несколько лет.

🧠 Био-анкоры, автоматизация кода и спор о когнитивных способностях ИИ 50:23

После детального обсуждения физических и финансовых пределов масштабирования ИИ-моделей, эксперты перешли к анализу методологии, с помощью которой строятся современные прогнозы развития технологий. Даниэль Кокотайло (Daniel Kokotajlo) открыто признает, что любые долгосрочные графики — это результат субъективных суждений аналитиков, пытающихся упорядочить хаос вычислений. Однако вместо гипотез, «высосанных из пальца», исследователи безопасности стремятся опираться на строгие математические и биологические ориентиры.

Методология прогнозирования: био-анкоры и пределы вычислений 53:00

Главным фундаментом для долгосрочного планирования Даниэль Кокотайло (Daniel Kokotajlo) называет фреймворк «био-анкоров» (bio-anchors), изначально разработанный исследовательницей Аджеей Котра (Ajeya Cotra). Этот подход использует вычислительную мощность человеческого мозга как базовый ориентир для оценки вероятности появления сильного ИИ. В его основе лежит баланс между временем, необходимым человечеству на генерацию новых научных идей, и объемом сырых вычислений (compute).

Чтобы проиллюстрировать этот масштаб, Кокотайло приводит мысленный эксперимент: если бы человечество обладало вычислительной мощностью в $10^{45}$ операций с плавающей запятой (FLOP), этого хватило бы на то точный запуск симуляции эволюции планеты Земля и всей биологической жизни на ней в течение миллиарда лет. При таком подходе создателям ИИ даже не нужно понимать принципы работы интеллекта — эволюционные механизмы внутри симуляции воссоздали бы его сами. Еще в 2021 году Даниэль описал в своем блоге более «скромный» сценарий с использованием $10^{36}$ FLOP.

Вероятностное распределение сроков создания AGI постоянно смещается. По мере того как исследователи находят более эффективные алгоритмические методы, требования к вычислениям падают. Сегодня передовые ИИ-лаборатории проводят тренировочные запуски на уровне $10^{26}$ FLOP, но индустрия готовится преодолеть еще несколько порядков в ближайшие годы. Даже при максимальной осторожности в оценках, базовая методология указывает на высокую вероятность появления полноценного ИИ уже к концу текущего десятилетия.

Автоматизация программирования как веха к AGI 57:00

Ключевой точкой перелома на пути к сверхинтеллекту Даниэль Кокотайло (Daniel Kokotajlo) считает не один революционный научный прорыв, совершенный людьми, а постепенную автоматизацию самого процесса создания ИИ. Самым перспективным и доступным участком работы для автоматизации на первом этапе является написание кода. Как только ИИ-ассистенты смогут полностью заменить человека-программиста, скорость технологического прогресса возрастет лавинообразно.

Для отслеживания этой вехи индустрия использует сложные агентные бенчмарки (например, разработанные организацией METR), которые воссоздают реальные рабочие среды. Задачи в них — это не простые тесты с вариантами ответов, а полноценные инженерные проблемы, требующие от квалифицированного человека от 4 до 8 часов непрерывной работы. Ведущие ИИ-лаборатории участвуют в агрессивной гонке за достижение этого майлстоуна.

Экстраполяция текущих трендов показывает, что ИИ-системы полностью закроют и «насытят» эти бенчмарки в ближайшие пару лет. Безусловно, между победой на тестах и абсолютной автономностью в реальном продакшене останется определенный зазор, но общая динамика указывает на стремительный рост надежности систем. Кокотайло отмечает, что графики горизонта планирования моделей улучшаются из года в год: вероятность критической ошибки снижается, что позволяет агентам удерживать контекст выполнения сложных задач на порядки дольше.

Ранее в разговоре Даниэль уже касался проблемы технического выравнивания ИИ, и сейчас он вновь подчеркивает, что отсутствие строгих инженерных принципов и засилье «алхимии» в обучении моделей делают проблему контроля над ними пугающе острой.

Критика когнитивных способностей современных моделей 1:05:30

Профессор Гэри Маркус (Gary Marcus) категорически не разделяет этот оптимизм, заявляя, что количественные успехи и масштабирование вычислений создают лишь иллюзию прогресса, полностью игнорируя выводы когнитивных наук. По мнению Маркуса, текущие системы принципиально не имеют реальных моделей мира и не способны к надежному планилению и рассуждению. Многие из этих фундаментальных ограничений он описал еще в своей книге «Алгебраический ум» (2001).

Маркус приводит детальный список качественных провалов современных LLM:

• Проблема сдвига распределения (distribution shift): нейросети не умеют обобщать правила за пределами обучающей выборки. Это наглядно продемонстрировали недавние публикации Apple на примере классической головоломки «Ханойская башня».
• Хрупкость абстрактного мышления: без подключения внешних калькуляторов и плагинов модели до сих пор не способны надежно перемножать большие числа.
• Смешение типов и токенов (types and tokens): этот дефект архитектуры ведет к «размытию» сущностей и диким галлюцинациям. В качестве примера ученый привел ChatGPT, который полностью переврал биографию его близкого друга, актера Гарри Ширера (Harry Shearer) — нейросеть выдумала ему ложные роли в фильме «Spinal Tap» и назвала американца британцем.
• Нарушение базовых правил: даже новейшие рассуждающие модели вроде o3 регулярно совершают нелегальные ходы в шахматах — например, заставляют ферзя перепрыгивать через коня.

Ученый подчеркивает, что специализированные архитектуры по-прежнему на голову превосходят универсальные чат-боты. В качестве примера он приводит систему AlphaFold, которая является сложным гибридным решением. Стоит отметить, что нейросимволический ИИ как глобальное решение этих проблем подробно рассматривается в последующих главах статьи. При этом классический алгоритм Герберта Саймона, созданный еще в 1957 году, без труда решает «Ханойскую башню» для любого количества дисков, тогда как современные LLM спотыкаются на ней при малейшем изменении условий.

Эту жесткую позицию разделяет и глава ИИ-лаборатории Meta Ян ЛеКун (Yann LeCun). Оба исследователя сходятся в том, что у текущих систем отсутствуют полноценные внутренние модели мира. И если Кокотайло защищает ИИ, заявляя, что человеку тоже нужны инструменты (вроде кода) для решения сложных задач, то Маркус парирует это примером из жизни: 12-летний ребенок способен мгновенно освоить рекурсию и безошибочно собрать «Ханойскую башню» из 7 дисков всего за две минуты. Успехи же ИИ на кодинг-тестах вызывают у профессора сильный скепсис: он напоминает, что проблема генерализации и скрытого загрязнения обучающих данных (data contamination) ставит под сомнение реальную чистоту бенчмарков, о чем подробно пойдет речь в следующей главе.

🧩 Мираж компетентности: Проблема генерализации и «загрязнение» данных 1:16:05

Одной из самых острых точек дискуссии между Гэри Маркусом и его коллегами стал вопрос о том, насколько глубоким на самом деле является «интеллект» современных больших языковых моделей (LLM). Гэри Маркус (Gary Marcus) утверждает, что высокая производительность нейросетей во многих задачах — это не признак подлинного понимания, а результат колоссального объема обучающих данных, в которые зачастую проникают и сами тестовые задания. Отсутствие прозрачности в том, на каких именно датасетах обучались модели вроде o3 или GPT-4, делает невозможным честную научную оценку их способности к генерализации .

Хрупкость знаний: шахматы и крестики-нолики «не по правилам» 1:16:44

Чтобы продемонстрировать ограниченность текущих систем, Гэри Маркус приводит примеры с простыми играми, правила которых были намеренно изменены. Когда он предложил модели Grok сыграть в «крестики-нолики», где победа засчитывается только при построении линии по краям поля, ИИ не смог адаптировать стратегию и предлагал ходы, которые игнорировали новое условие . Это свидетельствует о концептуальной слабости: модель «зазубрила» стандартные паттерны игры, но не обладает гибким пониманием самой сути задачи.

Аналогичная ситуация наблюдается и в шахматах. Несмотря на то что модели видели миллионы шахматных партий в Wikipedia и других источниках , они часто делают нелегальные ходы или теряются при изменении начальных условий. Маркус описывает эксперимент: если попросить ИИ проанализировать доску, где у белых три ферзя, но черный король может поставить мат в один ход, эксперт-человек мгновенно найдет решение. Модели же справляются с такими «неортодоксальными» задачами крайне плохо . Как отмечает ученый, прогресс в этой области часто оказывается поверхностным: разработчики из OpenAI и других лабораторий просто «заплатывают» конкретные ошибки, обнаруженные пользователями в соцсетях, вместо того чтобы решать фундаментальную проблему отсутствия логического вывода .

«Эффект уличного фонаря» и дефекты бенчмарков 1:19:09

Дэн Хендрикс (Dan Hendrycks) поддерживает критику, используя термин «эффект уличного фонаря» (streetlight effect). Исследователи склонны тестировать ИИ в тех областях, где он уже показывает хорошие результаты, игнорируя «темные зоны». По достижении 100% в каком-либо тесте создается иллюзия, что задача решена, однако при минимальном сдвиге распределения данных (distribution shift) обнаруживаются глубокие структурные дефекты .

Хендрикс выделяет несколько критических зон, где прогресс почти не заметен:

• Визуальное понимание: модели до сих пор плохо справляются с задачами, которые легко решают дети, например, подсчетом лиц на фотографии или раскрашиванием картинки по контурам .
• Долговременная память: ИИ не способен поддерживать стабильное состояние и контекст на протяжении длительных и сложных взаимодействий .
• Подвижный интеллект (Fluid Intelligence): результаты тестов, таких как прогрессивные матрицы Равена, остаются неудовлетворительными .

Ранее в разговоре участники касались методологии прогнозирования, и Дэн подчеркивает: если хотя бы один из этих когнитивных аспектов останется нерешенным, модель будет «экономически дефектной» и непригодной для полной автоматизации труда .

Проблема «загрязнения» данных и Live Code Bench 1:15:25

Ключевым препятствием для объективной оценки ИИ является «загрязнение» данных (data contamination). Большинство современных бенчмарков уже давно попали в обучающие выборки нейросетей. Гэри Маркус ссылается на недавний тест Live Code Bench Pro, в который были включены абсолютно новые задачи по программированию, опубликованные после завершения обучения основных моделей . Результаты оказались катастрофическими: эффективность машин в решении этих задач упала до 0% .

Аналогичный провал зафиксирован на задачах Американской математической олимпиады (USAMO): через шесть часов после публикации новых условий модели, которые ранее «блестяще» справлялись с прошлыми годами, показали ужасающие результаты . Это доказывает, что текущие успехи в кодинге и математике во многом строятся на интерполяции уже виденных примеров, а не на способности к самостоятельному творческому решению новых проблем .

Метафора беспилотных автомобилей 1:17:53

Гэри Маркус проводит параллель между развитием AGI и индустрией беспилотного вождения. За последние 40 лет в этой области наблюдался ежегодный прогресс, но проблема «сдвига распределения» (distribution shift) так и не решена полностью . Система может идеально водить машину в солнечном Сан-Франциско, но пасует перед непредсказуемым трафиком Нью-Йорка или сложными погодными условиями.

Точно так же и в ИИ: путь от решения 90% задач до полной надежности и универсальности (Level 5) может занять десятилетия. Маркус скептичен по отношению к прогнозам о достижении AGI к 2027 году, считая, что это потребует решения всех фундаментальных проблем «одновременно и везде», что маловероятно . По его мнению, оптимистичный сценарий для решения проблем генерализации — это 2030 год, но даже эта дата кажется ему слишком смелой .

🛡️ Тупик выравнивания и поиск новых архитектур 1:40:31

В текущем ландшафте разработки ИИ наблюдается резкий дисбаланс: системы становятся всё лучше в интерполяции данных, что радикально меняет рынок труда, но прогресс в области технического выравнивания (alignment) остаётся крайне ограниченным . Гэри Маркус отмечает, что современные методы, такие как обучение с подкреплением на основе отзывов людей (RLHF), обеспечивают лишь поверхностную безопасность. Хотя системы научились отклонять прямые запросы на создание биологического оружия, эти фильтры легко обходятся с помощью «джейлбрейков» . Мы всё ещё сталкиваемся с проблемой «ученика чародея»: ИИ не выполняет то, что мы от него хотим на самом деле, продолжая галлюцинировать, нарушать авторские права и совершать нелегальные ходы даже в таких простых задачах, как шахматы .

Техническое выравнивание и надежность отказа 1:41:40

Дэн Хендрикс предлагает разделять выравнивание отдельных моделей и выравнивание самого процесса рекурсивного самосовершенствования, который обсуждался ранее в контексте рисков сингулярности . По его мнению, вторую задачу — «проблему процесса» — невозможно решить превентивно и чисто технически из-за обилия «неизвестных неизвестных». Это диктует необходимость снижения геополитического давления, чтобы замедлить гонку .

В критически важных сферах, таких как биологическая безопасность, можно добиться высокой надежности (условно «несколько девяток» после запятой), но в более «размытых» областях, таких как предотвращение преступных или вредоносных действий агентов, прогресс практически не заметен . Хендрикс указывает на ироничную ситуацию: компании жертвуют безопасностью ради минимального прироста производительности в бенчмарках (MMLU), отказываясь от более устойчивых к состязательным атакам методов .

Проблема усугубляется тем, что поверхность рисков постоянно расширяется с появлением автономных агентов. Хендрикс считает, что нам никогда не удастся достичь «финального» состояния выравнивания. Вместо монолитного технического решения системе требуется «адаптивная емкость» — наличие ресурсов и специалистов, способных тушить возникающие пожары быстрее, чем они распространяются . Гэри Маркус добавляет, что если мы не можем решить проблему отказа и предсказуемого вреда, это веский повод «встать перед поездом» и затормозить развитие ИИ в критических областях .

Нейросимволический ИИ как решение 1:47:50

Гэри Маркус убежден, что на базе одних лишь больших языковых моделей (LLM) техническое выравнивание достигнуто не будет. Решением может стать нейросимволический ИИ — архитектура, объединяющая статистическую мощь нейросетей с явными символьными правилами . Это позволило бы задавать жесткие логические ограничения, которые LLM сейчас просто не способны соблюдать.

Успех AlphaFold, за который была присуждена Нобелевская премия, Маркус называет важным сигналом в пользу этого подхода . Он прогнозирует, что к 2035 году мы будем смотреть на современные LLM как на «хорошую попытку», которая, однако, не была истинным путём к AGI . Хотя LLM отлично справляются с распределительным обучением, они крайне неэффективны с точки зрения энергии и данных. Будущие системы должны обладать:

• Стабильными моделями мира вместо поверхностной семантики ;
• Способностью к глубокому рассуждению и планированию;
• Механизмами извлечения причинно-следственных связей, а не просто статистических закономерностей.

Маркус подчеркивает, что для достижения AGI потребуются инновации «уровня Эйнштейна» — фундаментально новые идеи, которые лежат за пределами текущей парадигмы «предсказания следующего токена» .

Сценарии будущего: проект AI 2027 1:51:20

Обсуждая отчет «AI 2027», Даниэль Кокотайло и Гэри Маркус ищут точки расхождения в прогнозах. Маркус считает сценарий 2027 года слишком оптимистичным по темпам и полагает, что сроки реализации описанных там возможностей нужно как минимум удвоить или утроить . Камнем преткновения становится веха «сверхчеловеческого программиста». Маркус сомневается, что в ближайшее десятилетие появится ИИ, способный заменить лучших инженеров вроде Джеффа Дина .

Для создания кода такого уровня недостаточно просто комбинировать известные паттерны. Требуется глубокое понимание того, какую именно проблему хотят решить люди в конкретном домене . Маркус также критикует психологическое воздействие детальных сценариев будущего: яркие детали заставляют людей верить в неизбежность одного конкретного варианта, тогда как нам нужно анализировать всё распределение вероятностей .

Тем не менее, эксперты согласны в главном: текущие компании-разработчики не заслуживают полного доверия, а разрыв между появлением мощных технологий и решением проблемы их безопасности может стать фатальным для человечества .

Эффективность обучения: человек против ИИ 1:59:20

Человеческий мозг остается недосягаемым идеалом эффективности. Ребенок обучается на порядки быстрее и на меньшем количестве данных, чем любая современная модель . Маркус отмечает, что люди — это «доказательство существования» возможности сверхэффективного обучения.

Хотя машины уже превосходят нас в объеме памяти (как в примере с запоминанием миллиардов знаков числа Пи ), они всё ещё проигрывают в способности к обобщению. При этом у ИИ есть потенциальное преимущество: отсутствие когнитивных искажений, свойственных человеку. Даниэль Канеман, с которым Маркус участвовал в дискуссиях, называл людей «низкой планкой» из-за нашей склонности к иррациональности и подтверждению собственной предвзятости .

В будущем ИИ сможет превзойти человеческий уровень мышления именно за счет избавления от этих биологических «костылей» (cluges) . Маркус резюмирует, что через 30 лет мы будем смотреть на сегодняшние LLM так же, как мы смотрим на кнопочные телефоны из эпохи смартфонов: как на забавный, но примитивный этап развития .

В завершение дискуссии Дэн Хендрикс подчеркивает, что технические решения не сработают без учета геополитики. Он упоминает уязвимость инфраструктуры — от кибершпионажа до физических атак на трансформаторы дата-центров, — что станет ключевой темой при обсуждении безопасности в долгосрочной перспективе .

🌐 Геополитические риски: Кибершпионаж и уязвимость инфраструктуры 2:05:42

Проблема атрибуции и стратегические последствия 2:05:42

В завершающей части дискуссии эксперты обращают внимание на критическую проблему атрибуции в контексте глобального соперничества в области ИИ. Вопрос о том, кто именно стоит за тем или иным цифровым инцидентом — Россия, Иран, Китай или, возможно, частное лицо из США — кардинально меняет стратегическую динамику международных отношений. Неопределенность в вопросах авторства кибератак делает невозможным выстраивание предсказуемой системы сдерживания, создавая опасную среду, в которой геополитические игроки вынуждены действовать в условиях тумана войны.

Прозрачность лабораторий как вектор угрозы 2:05:56

Особую тревогу вызывает текущий уровень уязвимости ведущих ИИ-лабораторий перед лицом внешнего вмешательства. В отличие от закрытых военных разработок прошлого, современные компании, занимающиеся передовыми моделями, демонстрируют пугающе высокую «прозрачность» для иностранных разведок. Как отмечают участники, сегодня для получения доступа к стратегически важной информации зачастую достаточно взломать корпоративные коммуникационные платформы, такие как Slack.

Уязвимость инфраструктуры охватывает практически все ключевые игроки отрасли:

• Anthropic
• OpenAI
• xAI
• Google DeepMind

Помимо взлома внутренних корпоративных чатов, реальной угрозой является компрометация мобильных устройств высшего руководства компаний. Подобный уровень доступности данных создает ситуацию, при которой интеллектуальная собственность и разработки, способные изменить баланс сил в мире, оказываются под постоянной угрозой кражи или саботажа со стороны государственных субъектов.

Необходимость верификации и «красных линий» 2:06:10

Несмотря на мрачную картину киберуязвимостей, эксперты сходятся во мнении относительно путей выхода из сложившейся ситуации. Ключевым приоритетом становится работа по созданию международного режима верификации. Подобный механизм необходим для того, чтобы зафиксировать «красные линии» вокруг наиболее опасных сценариев, таких как неконтролируемые взрывы интеллекта, о которых ранее уже упоминалось в ходе беседы. Установление таких правил игры — это попытка перевести гонку ИИ-вооружений в русло, которое не угрожает глобальной стабильности и безопасности всей технологической инфраструктуры.