Чтобы украсить секреты создания сверхразума стоимостью в сотни миллиардов долларов, иностранным шпионам сегодня достаточно просто взломать Slack-канал топовой ИИ-лаборатории. Пока технологические лидеры оправдывают безумную гонку вооружений верой в собственную исключительность и обещают сверхразум к 2028 году, их лучшие модели всё еще совершают нелегальные ходы в шахматах и пасуют перед базовой логикой. За фасадом утопии об ИИ-изобилии скрывается опасная реальность: критическая уязвимость инфраструктуры, когнитивные пробелы нейросетей и назревающий экономический тупик экспоненциального масштабирования.
🛡️ Будущее ИИ: между утопией изобилия и геополитическим коллапсом 0:00
Дискуссия о будущем искусственного интеллекта часто сводится к полярным точкам зрения: либо мы стоим на пороге величайшего прорыва в истории медицины и экономики, либо приближаемся к экзистенциальной катастрофе. В этом обсуждении эксперты — Гэри Маркус (Gary Marcus), Даниэль Кокотайло (Daniel Kokotajlo) и Дэн Хендрикс (Dan Hendrycks) — пытаются найти «золотую середину», анализируя не только технические риски, но и политические механизмы, способные предотвратить худший сценарий.
Позитивное видение сверхразума: мир после дефицита 4:30
Даниэль Кокотайло, исследователь безопасности ИИ, подчеркивает: несмотря на все опасения, потенциальные выгоды от создания сверхразума (ASI) колоссальны. В рамках проекта «AI 2027» он описывает сценарий «замедленного финала» (slowdown ending), где человечество успевает решить проблему технического алаймента (согласования целей ИИ с человеческими ценностями) буквально в последний момент .
Этот позитивный сценарий подразумевает полную трансформацию мировой экономики. По мнению Кокотайло, сверхразумный ИИ, который будет «умнее, быстрее и дешевле любого человека», сможет спроектировать автоматизированные заводы и лаборатории с беспрецедентной скоростью . Основные черты такого будущего включают:
- Материальное изобилие: Роботизированное производство делает товары практически бесплатными, удовлетворяя базовые потребности каждого жителя Земли .
- Победа над болезнями: Ускорение научно-исследовательских работ (R&D) позволяет найти лекарства от большинства известных заболеваний за считанные годы .
- Колонизация космоса: Создание поселений на Марсе становится технически достижимой и экономически оправданной задачей .
Однако Кокотайло предупреждает, что технологии сами по себе не гарантируют утопию. Ключевой вопрос заключается в том, кто будет контролировать «армию сверхразумов» и будет ли это могущество распределено справедливо или приведет к созданию глобальной диктатуры .
Геополитическая гонка и переход на «машинные скорости» 11:10
Дэн Хендрикс привносит в дискуссию более суровый геополитический контекст. Он утверждает, что главная опасность кроется не в самом факте существования ИИ, а в процессе автоматизации R&D, который исключает человека из цикла принятия решений. Сегодня разработка ведется на «человеческой скорости», но как только ИИ начнет самостоятельно совершенствовать свои алгоритмы, произойдет переход на «машинную скорость» .
Хендрикс выделяет несколько критических факторов дестабилизации:
- Рекурсивное самообучение: Процесс, при котором ИИ ускоряет собственное развитие, может привести к «взрыву интеллекта». По словам Сэма Альтмана, этот процесс способен сжать десятилетие прогресса в один год или даже месяц .
- Неуловимое преимущество (Durable Edge): Если одна страна (например, США или Китай) добьется прорыва в автоматизации R&D, она получит преимущество, которое невозможно будет сократить. Это создает стимулы для гонки на выживание, где безопасность приносится в жертву скорости .
- Утрата контроля: В условиях сверхбыстрой гонки вероятность того, что системы ИИ выйдут из-под контроля государства, становится критически высокой. Хендрикс отмечает, что это угрожает выживанию всех участников, независимо от того, кто лидирует в гонке .
Гэри Маркус дополняет эту картину социальными опасениями. Он указывает на растущее экономическое неравенство и скептически относится к идее безусловного базового дохода (UBI), которую продвигают главы технологических лабораторий . Маркус подчеркивает, что если у нас нет даже «видимого политического решения» проблемы распределения богатства, то аргумент в пользу «остановки поезда» прямо сейчас становится всё более весомым .
Три красные линии: архитектура глобальной безопасности 21:24
Чтобы избежать катастрофы, эксперты обсуждают необходимость установления четких «красных линий» — границ, которые ни одно государство и ни одна лаборатория не должны переступать. Дэн Хендрикс предлагает три конкретных запрета, которые могли бы лечь в основу будущих международных соглашений:
- Запрет на полную автоматизацию рекурсивного самосовершенствования: Исключение возможности «взрыва интеллекта», который нельзя контролировать вручную .
- Ограничение доступа к биологическим и кибер-знаниям: ИИ-агенты не должны обладать экспертными знаниями в области вирусологии или наступательных киберопераций без строжайших защитных барьеров .
- Безопасность весов моделей: Строгий контроль за физическим хранением параметров моделей (weights), чтобы предотвратить их кражу или утечку к «злонамеренным акторам» .
Хотя участники дискуссии признают, что заключение глобального договора сегодня кажется маловероятным из-за недоверия между сверхдержавами, Хендрикс считает, что первым шагом должно стать прояснение намерений через дипломатические каналы и разведку . Даниэль Кокотайло предлагает альтернативный подход: постепенное, взаимно прозрачное развитие ИИ, где каждый следующий уровень мощности внедряется только после коллективного подтверждения его безопасности .
Ранее в разговоре они касались темы различий между AGI и ASI, но к детальному разбору прогнозов по срокам их появления они перейдут позже.
🧠 Психология гонки и горизонты сверхразума 35:28
Разрыв между публичными заявлениями об опасностях ИИ и действиями крупнейших лабораторий кажется парадоксальным. Если лидеры индустрии признают экзистенциальные риски, почему они продолжают ускорять разработку? Ответ кроется в сложной психологии «рационализации», которая движет руководителями OpenAI, DeepMind и Anthropic.
Рационализация риска: почему «хорошие парни» спешат 35:28
Даниэль Кокотайло, опираясь на свой опыт работы в OpenAI, отмечает, что высшее руководство лабораторий с самого начала было сосредоточено на двух типах угроз: риске потери контроля (если ИИ не будет должным образом «выровнен») и риске концентрации власти (кто именно будет владеть сверхразумом) . Однако осознание этих опасностей не привело к замедлению. Напротив, оно породило логику, которую Кокотайло называет «соблазнительным аргументом» .
Суть этой позиции проста: появление мощного ИИ неизбежно. Если его создадут не «мы» (условно ответственные и этичные разработчики), то это сделает кто-то другой — менее осторожный конкурент или враждебное государство. Таким образом, единственный способ спасти мир — это выиграть гонку, чтобы именно «хорошие парни» могли контролировать процесс внедрения мер безопасности и распределение благ, таких как безусловный базовый доход .
Эта психология привела к череде конфликтов и расколов внутри индустрии:
- OpenAI против DeepMind: Изначально Илон Маск, Сэм Альтман и Илья Суцкевер создали OpenAI как противовес DeepMind. Они опасались, что Демис Хассабис может стать своего рода «диктатором», если единолично получит контроль над AGI в рамках Google . В утекших письмах прямо обсуждались опасения, что судьба человечества окажется в руках одного человека .
- Anthropic против OpenAI: Позже группа сотрудников OpenAI, включая Дарио Амодеи, отделилась и создала Anthropic, поскольку перестала доверять руководству Альтмана в вопросах безопасности . Каждая новая группа верит, что именно их технический талант позволит решить проблему алаймента лучше, чем у конкурентов.
Гэри Маркус указывает на тревожную динамику в риторике Сэма Альтмана. Если в мае 2023 года на слушаниях в Сенате Альтман признавал возможность нанесения «существенного вреда человечеству» , то со временем его выступления стали более сдержанными. Маркус отмечает, что теперь акцент сместился в сторону экономических рисков и недополученной выгоды, что может быть попыткой успокоить инвесторов и избежать излишнего регулирования .
Хотя ранее в разговоре обсуждались геополитические аспекты и «красные линии» безопасности, текущая ситуация напоминает классическую дилемму заключенного: участники не могут договориться о коллективном замедлении, опасаясь предательства со стороны конкурентов .
Прогнозы 2027–2030: когда ждать появления сверхразума 44:17
Вопрос о том, сколько времени осталось до появления ИИ человеческого уровня (AGI) или сверхразума (ASI), перестал быть чисто академическим. Дэн Хендрикс и Даниэль Кокотайло подчеркивают, что при прогнозировании важно использовать не одну дату, а распределение вероятностей .
Даниэль Кокотайло, автор проекта «AI 2027», представил свои оценки, которые многие считают агрессивными, но обоснованными текущими темпами прогресса. В рамках своего фреймворка он выделяет несколько ключевых вех:
- Сверхчеловеческий кодер — ИИ, превосходящий лучших программистов.
- Полная автоматизация исследований — способность моделей самостоятельно вести R&D в области ИИ.
- Сверхразум (Superintelligence).
На момент создания проекта Кокотайло оценивал вероятность появления сверхразума к концу 2027 года в 50% . Позже он немного скорректировал свой медианный прогноз, перенесу его на конец 2028 года, что, впрочем, всё равно оставляет критически мало времени для решения проблем безопасности .
Другие участники исследовательского сообщества высказывают более консервативные, но всё же близкие сроки — период между 2029 и 2031 годами . Гэри Маркус относится к этим цифрам со скепсисом, полагая, что текущая парадигма LLM может столкнуться с фундаментальными препятствиями, однако признаёт, что даже дополнительные 12 месяцев форы мало что меняют в плане глобальной готовности .
Основным драйвером таких коротких прогнозов является эффект масштабирования (scaling). За последние 15 лет прогресс подпитывался экспоненциальным ростом вычислительных мощностей и объёмов данных . Однако эксперты выделяют факторы, которые могут замедлить этот процесс и превратить «взрывной рост» в «длинный хвост» распределения вероятностей:
- Дефицит данных: Модели вроде GPT-4 уже поглотили значительную часть доступного качественного интернет-контента, включая транскрипции видео .
- Ограничения инфраструктуры: Потребность в электроэнергии и мощностях заводов по производству чипов (fabs) растёт быстрее, чем возможности по их расширению . Кокотайло отмечает, что если раньше можно было просто скупать игровые видеокарты, то теперь требуются специализированные кластеры, строительство которых занимает годы .
Несмотря на возможные физические лимиты, которые будут детально рассмотрены далее в контексте экономики масштабирования, участники дискуссии сходятся в одном: мы находимся в зоне крайне высокой неопределенности, где сценарии появления ASI в ближайшие 3–6 лет рассматриваются как рабочие гипотезы крупнейших игроков рынка .
💡 Границы масштабирования и когнитивные тупики 50:10
Дискуссия о будущем искусственного интеллекта неизбежно упирается в вопрос: можно ли достичь сверхразума, просто продолжая увеличивать вычислительные мощности и объемы данных? Даниэль Кокотайло и Гэри Маркус рассматривают эту проблему с разных сторон — от жестких экономических ограничений до фундаментальных пробелов в архитектуре современных нейросетей.
Экономика и физика: Конец эпохи «грубой силы»? 50:10
На протяжении последних пяти лет индустрия ИИ следовала стратегии экспоненциального масштабирования. Однако Даниэль Кокотайло указывает на то, что этот путь ведет к неизбежному столкновению с физической и экономической реальностью. Стоимость крупнейших тренировочных запусков выросла примерно на два с половиной порядка всего за пять лет: от 3–5 миллионов долларов в 2020 году до сумм, приближающихся к миллиарду сегодня .
Если этот темп сохранится, к 2030 году стоимость обучения одной модели составит около 500 миллиардов долларов . Кокотайло подчеркивает, что такие затраты могут оказаться неподъемными даже для крупнейших технологических гигантов, не говоря уже о мировой экономике в целом. Без «радикальной трансформации» или автоматизации самого процесса R&D (тема, которую участники затрагивали ранее), индустрию может ждать новый период застоя — «ИИ-зима» . Прогресс замедлится не из-за отсутствия идей, а из-за дефицита электроэнергии, чипов и, что более критично, качественных данных. Большинство доступных текстов в интернете уже поглощено моделями, и теперь разработчикам приходится искать способы «выжимать» результат из более сложных алгоритмов мышления .
Фреймворк «био-анкоров»: Эволюция в кремнии 53:26
Для оценки того, сколько вычислительной мощности (compute) на самом деле требуется для создания AGI, исследователи используют фреймворк «био-анкоров» (bio-anchors), разработанный Аджеей Котрой. Даниэль Кокотайло объясняет, что в основе этого метода лежит сопоставление ИИ с биологическим мозгом и эволюционными процессами .
Ключевая идея заключается в поиске «верхней границы» необходимых вычислений. Если бы мы обладали мощностью в $10^{45}$ операций с плавающей запятой (FLOPs), мы могли бы просто симулировать эволюцию жизни на Земле в течение миллиарда лет . В таком сценарии нам даже не нужно понимать, как работает интеллект — мы просто позволяем природе сделать свою работу в цифровой среде. Кокотайло отмечает, что:
- Нижняя граница — это текущие затраты, которые пока не привели к созданию AGI.
- Верхняя граница ($10^{45}$ FLOPs) выглядит огромной, но при текущих темпах роста мощностей она достижима в обозримом будущем.
- Мы находимся на уровне $10^{26}$ FLOPs для крупнейших моделей , и с каждым годом это число увеличивается на несколько порядков.
Даже если распределить вероятность появления AGI по этой шкале вычислительной сложности, шансы на прорыв до конца десятилетия остаются значительными . Однако этот «грубый» подход не учитывает качественные характеристики разума, на чем настаивает Гэри Маркус.
Когнитивный разрыв: Почему ИИ всё ещё не понимает правила 58:48
Гэри Маркус вступает в спор с чисто количественным подходом, опираясь на когнитивную науку. Его основной тезис: за впечатляющим прогрессом в тестах скрывается неспособность моделей к надежному рассуждению вне тренировочного набора данных .
В качестве доказательства Маркус приводит «проблему Ханойской башни» и исследования Apple, которые показывают: стоит лишь немного изменить условия задачи, как нейросеть теряется . Современные модели, включая новейшие разработки вроде o3, до сих пор совершают элементарные ошибки, которые недопустимы для AGI:
- Нарушение базовых правил: Модели могут совершать невозможные ходы в шахматах (например, ферзь «перепрыгивает» через коня) .
- Галлюцинации идентичности: Маркус приводит в пример случай с актером Гарри Ширером, когда ChatGPT перепутал его гражданство и роли, смешивая факты о разных людях .
- Отсутствие мировых моделей: В отличие от человека, ИИ не понимает физику и логику процессов, а лишь предсказывает следующий токен, что делает его «алхимией без принципов» .
Даже если мы достигнем $10^{45}$ FLOPs и создадим имитацию разума путем «цифровой эволюции», мы всё равно можем не понять принципов его работы, как до сих пор не до конца понимаем работу биологического мозга .
Нейросимволический синтез: Код как костыль для разума 1:08:14
Путь к преодолению этих ограничений многие участники видят в нейросимволическом подходе. Даниэль Кокотайло предполагает, что чистые трансформеры могут быть дополнены инструментами. Например, использование «интерпретатора кода» позволяет ИИ переводить абстрактные задачи в логические формулы и алгоритмы на Python .
Гэри Маркус, который десятилетиями защищает идею использования символов в ИИ, соглашается, что связка «нейросеть + внешний инструмент» (как Claude + Code Interpreter или Wolfram Alpha) — это шаг в правильном направлении . Суть этого метода в следующем:
- Нейросеть отвечает за интуицию и генерацию идей.
- Символическая система (код, логический движок) обеспечивает строгое выполнение операций над переменными.
Главным барьером здесь остается надежность (reliability). Кокотайло ссылается на графики «горизонта планирования» в программировании, показывающие, что модели справляются со всё более длинными цепочками задач . Однако Маркус скептичен: он указывает на то, что эти успехи могут быть связаны с «загрязнением» данных в бенчмарках (эту тему подробнее разберут в следующей главе) . Для него настоящим испытанием станет способность системы действовать в ситуациях, на которых она никогда не обучалась — так же, как это делает человек .
🧩 Иллюзия прогресса: бенчмарки и «краевые случаи» 1:15:13
Одной из центральных тем дискуссии стала достоверность современных методов оценки ИИ. Гэри Маркус и Дэн Хендрикс подробно разбирают, почему высокие баллы в тестах часто не отражают реального понимания сути задач, а являются лишь следствием работы с огромными массивами данных, где границы между обучением и тестированием размыты.
Проблема «натаскивания» и загрязнение данных 1:35:13
Гэри Маркус выражает глубокий скептицизм относительно того, насколько современные нейросети действительно овладевают навыками, а не просто воспроизводят фрагменты обучающей выборки. Он приводит в пример ситуацию с шахматами: хотя системы вроде o3 показывают высокие результаты, они, вероятнее всего, «видели» в процессе обучения миллионы партий, их описания в Wikipedia и анализы экспертов . Проблема в том, что отсутствие прозрачности в составе тренировочных данных не позволяет ученым понять, насколько модель способна к генерализации — способности применять знания в ситуациях, выходящих за рамки знакомых паттернов .
Критическим доказательством этого тезиса служат новые бенчмарки, разработанные специально для исключения «загрязнения» (data contamination). Маркус ссылается на Live Code Bench Pro — тест на программирование, состоящий из абсолютно новых задач, которые не могли попасть в обучающую выборку. В то время как на обычных тестах модели показывают впечатляющие результаты, в этом бенчмарке результат машин составил 0% . Аналогичная ситуация наблюдалась с задачами Математической олимпиады США (US AMO): как только тест обновили и представили задачи, появившиеся всего за шесть часов до тестирования, производительность моделей резко упала .
Дэн Хендрикс дополняет это понятием «эффекта уличного фонаря» (streetlight effect), когда исследователи склонны измерять то, что легко поддается измерению, а не то, что действительно важно для интеллекта . Лаборатории ИИ, по его словам, сегодня фактически «натаскивают модели на тесты» (teaching to the test), используя аугментацию данных для искусственного завышения баллов, что не имеет ничего общего с созданием универсального интеллекта .
Шахматы, крестики-нолики и когнитивные пробелы 1:16:44
Чтобы продемонстрировать хрупкость знаний ИИ, Гэри Маркус описывает эксперименты с вариациями простых игр. Например, он предложил модели Grok сыграть в «крестики-нолики», где победа засчитывается только при выстраивании трех фигур по краям поля. Несмотря на то, что базовая игра представлена в интернете бесконечное количество раз, модель не смогла адаптироваться к изменению правил и предлагала ходы, не ведущие к победе в рамках новой концепции .
Подобные провалы Маркус называет «концептуальной слабостью» . Он подчеркивает:
- Системы до сих пор делают нелегальные ходы в шахматах, если партия отклоняется от стандартных сценариев .
- Знания моделей остаются «стерильными» — они узко заточены под конкретные условия (например, размер доски 8x8) и не переносятся на схожие задачи .
- Модели демонстрируют полное отсутствие «гибкости экспертного знания», которая позволяет человеку мгновенно перестроиться при изменении контекста .
Дэн Хендрикс соглашается, что прогресс в таких областях, как «флюидный интеллект» (способность решать новые задачи без опоры на прошлый опыт) и долговременная память, остается крайне незначительным . Модели хорошо справляются с накоплением «кристаллизованного интеллекта» — энциклопедических знаний, — но их когнитивные способности остаются фрагментарными и дефектными с экономической точки зрения . Ранее в разговоре участники уже упоминали качественные когнитивные пробелы, и здесь эта тема находит подтверждение в конкретных примерах провалов визуального и пространственного интеллекта .
ИИ и беспилотники: ловушка «последней мили» 1:37:53
Для описания текущего состояния ИИ Гэри Маркус использует аналогию с беспилотными автомобилями. Развитие автономного транспорта идет уже 40 лет, и каждый год наблюдается прогресс . Однако индустрия до сих пор не может достичь «пятого уровня» автономности (Level 5), при котором машина способна ехать в любом месте в любых условиях без участия человека.
Основная трудность здесь — «сдвиг распределения» (distribution shift) и проблема «краевых случаев» (edge cases). Как и в случае с беспилотниками Waymo, которые пока успешно работают только в условиях геофенсинга (ограниченных зон с подробными картами), ИИ-модели отлично справляются с типичными задачами, но пасуют перед редкими выбросами .
Маркус резюмирует, что прогресс в ИИ сейчас больше похож на «интерполяцию» — заполнение пробелов внутри знакомых данных, — а не на «экстраполяцию», которая необходима для реального интеллекта . Достижение полной автоматизации может потребовать решения фундаментальных проблем, которые игнорируются при простом масштабировании вычислительных мощностей. Как и в истории с биологией, где ученые десятилетиями ошибочно полагали, что гены состоят из белков, современные разработчики могут находиться в плену неверных допущений о природе обучения нейросетей .
🤖 Иллюзия контроля: границы алаймента и биологическое превосходство мозга 1:40:18
Современные системы искусственного интеллекта демонстрируют впечатляющие успехи в интерполяции данных, что уже начинает трансформировать рынок труда, однако в вопросах технического алаймента (согласования целей ИИ с человеческими) прогресс остается пугающе медленным. Гэри Маркус подчеркивает, что текущие методы обучения с подкреплением на основе отзывов людей (RLHF) дают лишь иллюзию безопасности . Если попросить модель создать биологическое оружие, она может вежливо отказаться, но такие фильтры легко обходятся с помощью «джейлбрейков» — специальных манипулятивных запросов .
Хрупкость технических ограничений и цена безопасности 1:40:18
Проблема алаймента сегодня напоминает ситуацию с «учеником чародея»: системы лишь приблизительно выполняют то, что от них требуют, постоянно нарушая установленные рамки. Гэри Маркус приводит примеры: системные промпты запрещают моделям генерировать контент, защищенный авторским правом, или галлюцинировать, но они продолжают это делать . Даже в таких простых микрокосмах, как игра в шахматы, ИИ всё еще с трудом придерживается правила «не делать нелегальных ходов» .
Дэн Хендрикс разделяет проблему на два уровня: согласование текущих прото-интеллектов и контроль над процессами рекурсивного самосовершенствования, которые могут привести к сверхмощному ИИ. По его мнению, надежные технологии отказа (refusal) в критических областях, таких как биозащита, существуют, но их внедрение тормозится коммерческими интересами .
- Компромисс между безопасностью и качеством: Лаборатории часто отказываются от наиболее устойчивых методов защиты, так как те снижают общую производительность модели в тестах вроде MMLU на 1–2% .
- Эволюция рисков: Хендрикс ожидает, что по мере развития агентов (автономных систем) поверхность рисков будет постоянно расширяться, создавая огромный «бэклог» нерешенных проблем безопасности .
- Необходимость вмешательства: Гэри Маркус настаивает, что если технический алаймент не будет решен в ближайшие годы (или даже десятилетия), это станет веским поводом «встать перед поездом» и замедлить разработку критических систем .
Ранее в разговоре участники касались геополитической гонки, и здесь Хендрикс вновь подчеркивает: конкурентное давление заставляет компании игнорировать риски ради сохранения лидерства . В качестве альтернативы чисто символическим методам Маркус предлагает развивать нейросимволический подход, который позволил бы задавать явные, нерушимые ограничения, недоступные для современных LLM .
Программист-подмастерье против архитектора: пределы автоматизации 1:52:37
Обсуждая сценарии будущего, участники затронули тему «сверхчеловеческого кодера». Даниэль Кокотайло выдвигает гипотезу, что к 2027 году ИИ сможет заменить профессионального инженера-программиста . Однако Гэри Маркус настроен скептически в отношении полной замены топовых специалистов.
По мнению Маркуса, мы уже близки к созданию «программиста-подмастерья», который значительно повышает продуктивность, но создание инновационных архитектур остается за человеком . Он вводит «тест Джеффа Дина» (легендарного инженера Google): способность решать задачи, с которыми никто никогда не сталкивался, быстро прототипировать и выводить на рынок решения беспрецедентного масштаба . Современные системы ИИ, работающие на распределении слов, не обладают глубоким пониманием того, что именно люди хотят решить с помощью кода .
Маркус считает, что ИИ может автоматизировать задачи «внутри коробки», но не способен на «внешние» инновации уровня Эйнштейна . Даже знаменитый 37-й ход программы AlphaGo в матче против Ли Седоля оставался в рамках правил игры, в то время как создание общей теории относительности требовало полного переосмысления физики .
Биологическое превосходство: почему мозг эффективнее машин 1:59:22
Фундаментальный разрыв между биологическим и искусственным интеллектом наиболее ярко проявляется в эффективности обучения. Гэри Маркус указывает на «порядки величин» потенциала, который еще предстоит раскрыть в ИИ, чтобы хотя бы приблизиться к человеческому мозгу .
- Data Efficiency: Человеческому ребенку требуется ничтожно малое количество данных по сравнению с триллионами токенов, на которых обучаются LLM .
- Теоретические пределы: В некоторых аспектах, таких как детекция фотонов глазом, биологические системы находятся на теоретическом пределе физики .
- Когнитивные искажения как «низкая планка»: Ссылаясь на Даниэля Канемана, Маркус отмечает, что человек — это «низкая планка» для интеллекта из-за склонности к предвзятости подтверждения и плохой памяти . Тем не менее, машины до сих пор не взяли даже эту планку в вопросах гибкого рассуждения .
Маркус прогнозирует, что через 30 лет мы будем смотреть на сегодняшние LLM так же, как на старые кнопочные телефоны: «Они были прикольными, но их создатели еще ничего не знали о настоящих смартфонах» . Он убежден, что путь к AGI лежит через новые идеи, а не просто через масштабирование текущих неэффективных методов, которые тратят колоссальное количество энергии и данных .
🛡️ Теневой фронт ИИ: кибершпионаж и физический саботаж 2:05:28
Заключительная часть дискуссии между Гэри Маркусом, Даниэлем Кокотайло и Дэном Хендриксом смещает фокус с внутренних проблем разработки ИИ на внешние угрозы, которые могут радикально изменить траекторию технологического прогресса. В то время как предыдущие этапы беседы касались архитектурных ограничений и трудностей технического алаймента, финал был посвящен геополитической уязвимости самой инфраструктуры ИИ. Дэн Хендрикс подчеркивает, что развитие сверхразума — это не только соревнование алгоритмов, но и глобальная борьба за безопасность данных и ресурсов .
Проблема атрибуции и «туман войны» в киберпространстве 2:05:42
Одной из центральных проблем в обеспечении безопасности ИИ-лабораторий становится вопрос атрибуции кибератак. Когда происходит взлом или кража весов модели, крайне сложно мгновенно и со стопроцентной уверенностью определить инициатора нападения. Дэн Хендрикс отмечает, что стратегическая динамика сильно зависит от того, кто стоит за атакой: Россия, Иран, Китай или, возможно, даже внутренний злоумышленник — гражданин США .
Отсутствие четкой идентификации агрессора создает опасную неопределенность. В контексте стратегии создания сверхразума, о которой ранее упоминал Хендрикс, такая анонимность развязывает руки конкурирующим государствам. Если страна чувствует, что безнадежно отстает в гонке за AGI, она может прибегнуть к скрытому саботажу, не боясь немедленного прямого возмездия. Это превращает технологическую гонку в «серую зону» конфликта, где правила ведения войны еще не прописаны, а цена ошибки может стоить стране лидерства на десятилетия вперед .
Прозрачность через взлом: Slack как ахиллесова пята ИИ-гигантов 2:05:56
Хендрикс рисует тревожную картину текущего состояния безопасности в ведущих лабораториях мира. По его мнению, уровень «прозрачности» между США и их геополитическими соперниками сейчас парадоксально высок, но не за счет дипломатии, а за счет уязвимости корпоративных инструментов связи.
«Сейчас это просто вопрос взлома Slack. Вы можете видеть Slack-каналы Anthropic, OpenAI, xAI и Google DeepMind», — констатирует Дэн Хендрикс .
Для получения доступа к критически важным разработкам иностранным спецслужбам не обязательно красть физические носители или внедрять «кротов» — достаточно скомпрометировать рабочую переписку или телефоны высшего руководства компаний . Такой «прозрачный» мир означает, что любые прорывы в области безопасности или эффективности моделей мгновенно становятся достоянием конкурентов. Это нивелирует стратегическое преимущество открытых демократических обществ и заставляет пересматривать саму философию защиты интеллектуальной собственности в сфере ИИ. Ранее в разговоре участники касались вопросов автоматизации R&D, но именно незащищенность человеческого фактора и простых каналов связи остается самым слабым звеном в этой цепи .
Физический саботаж и режим международной верификации 2:06:23
Угроза прогрессу ИИ не ограничивается кражей кода. В дискуссии поднимается вопрос о возможности физического разрушения инфраструктуры. Конкурирующие страны могут использовать не только кибератаки на серверы, но и прямой саботаж энергосетей противника для сдерживания его вычислительных мощностей. Поскольку обучение масштабных моделей требует колоссальных энергетических затрат, энергосеть становится такой же легитимной военной целью, как и сами дата-центры.
Чтобы предотвратить скатывание в неконтролируемый конфликт и избежать «интеллектуального взрыва» (о котором вскользь упоминалось в контексте алаймента), Дэн Хендрикс призывает к созданию международного режима верификации .
- Установление четких «красных линий» вокруг критических этапов развития ИИ.
- Прозрачность вычислительных мощностей, используемых для обучения моделей.
- Согласованные механизмы контроля, которые позволили бы странам убеждаться, что оппонент не нарушает правила безопасности.
Без таких механизмов верификации риск превентивного удара (как цифрового, так и физического) со стороны отстающей державы становится критически высоким.
Итоги: Техническая глубина и реальное положение дел 2:06:36
Завершая обсуждение, участники сошлись во мнении, что беседа получилась максимально содержательной и технически насыщенной. Гэри Маркус, Даниэль Кокотайло и Дэн Хендрикс выразили надежду, что зрители, досмотревшие этот сложный диалог до конца, получили полное представление о текущем «состоянии игры» в индустрии .
Разговор, начавшийся с прогнозов появления сверхразума и анализа когнитивных пробелов современных систем, логически завершился вопросами национальной безопасности. Это подчеркивает, что ИИ перестал быть чисто академической или инженерной дисциплиной, превратившись в главный фактор глобальной геополитической стабильности. Финальное рукопожатие участников перед камерой символизировало важность продолжения этого сложного, но необходимого диалога между экспертами с разными взглядами на будущее человечества .
