# Ашенбреннер: «Суперинтеллект станет новым Манхэттенским проектом» Источник: https://www.youtube.com/watch?v=yLbpNJEqSw4 Канал: Wes Roth Опубликовано: 10.06.2024 --- Появление Леопольда Ашенбреннера, бывшего сотрудника ныне расформированной команды Superalignment в OpenAI, на подкасте Дваркеша Пателя вызвало широкий резонанс в технологическом сообществе. В своем масштабном эссе «Situational Awareness» аналитик утверждает, что человечество находится на пороге создания сверхинтеллекта, который появится гораздо быстрее, чем ожидает большинство экспертов. Ашенбреннер предупреждает, что гонка за искусственным интеллектом неизбежно превратит частные стартапы Кремниевой долины в строго засекреченные государственные проекты военного масштаба. ## 🧠 От GPT-4 к суперинтеллекту: траектория экспоненциального роста [[JUMP:00:00]] Разработка систем общего искусственного интеллекта (AGI) перешла из плоскости теоретических дискуссий в фазу практической реализации. Леопольд Ашенбреннер, ранее занимавшийся вопросами безопасности в OpenAI, опубликовал масштабный манифест «Situational Awareness: The Decade Ahead» [01:03]. По его оценке, темпы технологического прогресса указывают на неизбежное создание полноценного AGI уже к 2027–2028 годам [19:07]. Ашенбреннер отмечает, что скачок от GPT-2 к GPT-4 произошел за счет беспрецедентного масштабирования вычислительных мощностей и алгоритмических улучшений. По его прогнозам, в ближайшие годы индустрию ждет еще один аналогичный по масштабу переход — от уровня «умного старшеклассника» до сверхинтеллекта, превосходящего возможности лучших человеческих умов [19:07]. Ведущий Уэс Рот добавляет, что столь быстрый рост заставляет пересмотреть все привычные представления об экономике и национальной безопасности [01:44]. ## 🔮 Модели мира и магия претрейнинга: как ИИ учится неявно [[JUMP:05:47]] В основе современных успехов нейросетей лежит процесс предварительного обучения (pre-training). Как цитирует Ашенбреннер одного из сооснователей OpenAI Илью Суцкевера: «Модели просто хотят учиться» [11:21]. Это свойство глубокого обучения позволяет ИИ выстраивать сложные внутренние репрезентации данных, фактически создавая «модели мира» [11:06]. Для иллюстрации этого феномена Уэс Рот ссылается на исследование Гарвардского университета «Beyond Surface Statistics» [06:36]. В ходе эксперимента нейросеть обучали исключительно на двумерных изображениях без каких-либо данных о глубине сцены. Тем не менее, анализируя активацию внутренних слоев модели в процессе генерации (диффузионного шумоподавления), ученые обнаружили следующее: * Модель начинает выстраивать трехмерную карту глубины на самых ранних этапах генерации [10:02]. * На пиксельном уровне объекты переднего плана (обозначенные глубоким красным цветом) четко отделяются от фона (синий цвет) задолго до того, как изображение становится распознаваемым для человеческого глаза [09:10]. * Нейросеть самостоятельно приходит к выводу, что для точного воспроизведения 2D-картинок ей необходимо смоделировать законы трехмерного пространства [10:28]. По мнению Ашенбреннера, базовые модели представляют собой сырой концентрат интеллекта [13:47]. Без дополнительной настройки (например, обучения с подкреплением на основе отзывов людей — RLHF) они бесполезны для конечного пользователя. В качестве примера Уэс Рот приводит случайную установку базовой модели Llama: на простое приветствие «Hi» система выдала бесконечный список синонимичных приветствий («Hello, greetings, good morning»), поскольку ориентировалась только на статистическую вероятность продолжения текста в интернете, а не на логику диалога [13:08]. RLHF позволяет превратить этот хаотичный массив данных в полезного ассистента [13:47]. ## 💥 Эффект «звукового удара»: почему стартапы-обертки обречены на гибель [[JUMP:19:44]] На рынке ИИ-стартапов наблюдается высокая активность вокруг создания так называемых «оберток» (wrappers) — сервисов, которые используют API базовых моделей (например, GPT-4) для решения узких задач [20:36]. Однако Ашенбреннер настроен крайне скептически по отношению к бизнес-моделям таких компаний [20:49]. По его прогнозу, индустрию ожидает эффект «звукового удара» (sonic boom) [20:49]. Процесс интеграции текущих несовершенных моделей в бизнес-процессы требует огромных усилий («schlep» — рутинная работа по отладке и написанию костылей) [04:04]. Однако скорость развития базовых моделей настолько высока, что к моменту, когда стартап завершает интеграцию, выходит следующая версия ИИ. Новая модель мгновенно решает все проблемы предыдущей версии «из коробки», делая костыли и надстройки стартапов бессмысленными [20:49]. Вместо сложных экосистем из костылей бизнес получит полноценных автономных агентов. Гость описывает будущее взаимодействие с ИИ как работу с удаленным сотрудником [04:04]: * ИИ-агент сможет полноценно подключаться к видеозвонкам в Zoom и общаться в мессенджере Slack [04:18]. * Ему можно будет поручить крупный проект, после чего он уйдет на неделю для самостоятельного написания кода, тестирования программ и создания первых черновиков [04:18]. * После получения обратной связи агент самостоятельно внесет необходимые правки [04:18]. Эту концепцию разделяют и лидеры индустрии. Уэс Рот напоминает о презентации Дженсена Хуанга (CEO Nvidia), который представил микросервисы NIM — готовые программные «кубы», содержащие все необходимые модели для развертывания целых виртуальных отделов (от клиентской поддержки до биотехнологических исследований) [21:14]. ## 🔄 Самообучение и взрыв интеллекта: когда ИИ заменит исследователей [[JUMP:14:26]] Ключевым драйвером перехода от AGI к суперинтеллекту станет способность систем к самообучению [24:12]. Ашенбреннер проводит аналогию с развитием человека: в начальной и средней школе ребенок нуждается в постоянном руководстве (аналог pre-training), но в университете способный студент переходит к самообразованию — читает учебник, ведет внутренний монолог, решает задачи и учится на ошибках [16:10]. По мнению экспертов отрасли, проект Q* (Q-Star) от OpenAI основывался именно на этом принципе [14:53]. Идея заключается в переносе методов самообучения, которые DeepMind использовала в программах AlphaGo и AlphaStar, на большие языковые модели [15:08]. Играя миллионы партий против самой себя, AlphaGo достигла сверхчеловеческого уровня в го [15:21]. Аналогично, LLM могут генерировать синтетические данные и улучшать собственные алгоритмы через циклы самообучения [16:59]. Этот процесс неизбежно приведет к «взрыву интеллекта» [23:47]. Одной из первых задач, которую автоматизируют разработчики, станет работа самих исследователей и инженеров в области машинного обучения [24:12]. Ашенбреннер описывает гипотетический сценарий ускорения прогресса: 1. **Автоматизация исследований:** ИИ-агенты заменяют инженеров-исследователей [24:12]. 2. **Масштабирование мощностей:** Развертывание огромных вычислительных кластеров позволит одновременно запускать до 100 миллионов ИИ-исследователей человеческого уровня [24:24]. 3. **Сжатие времени:** Работая параллельно и без перерывов, такая группировка способна проделать десятилетний объем научных исследований в области ML всего за один год [24:24]. 4. **Переход к суперинтеллекту:** В течение одного-двух лет после автоматизации разработки ИИ совершит качественный скачок к уровню, недостижимому для человеческого разума [24:49]. ## 🇨🇳 Геополитическое противостояние: почему проект станет новым «Манхэттеном» [[JUMP:27:10]] По мере приближения к созданию сверхинтеллекта национальная безопасность станет главным приоритетом ведущих держав. Ашенбреннер убежден, что суперинтеллект не останется продуктом коммерческого стартапа из Сан-Франциско — масштабы технологии потребуют прямого вмешательства государства и запуска проекта уровня «Манхэттенского» [44:13]. Огромное технологическое преимущество в сфере ИИ обеспечит абсолютно решающий перевес в военном противостоянии [27:10]. В качестве исторического примера гость приводит первую войну в Персидском заливе, где коалиционные силы во главе с США продемонстрировали соотношение потерь 100 к 1 исключительно за счет превосходства в технологиях (GPS, стелс-самолеты, высокоточные ракеты), опережавших советские аналоги Ирака на 20–30 лет [27:10]. Применение суперинтеллекта к военным НИОКР способно сжать целый век технологического прогресса менее чем в одно десятилетие [27:49]. Это позволит, например, создать миллиарды автономных микродронов, способных одновременно нейтрализовать все атомные подводные лодки и мобильные ядерные установки противника, что фактически нивелирует доктрину ядерного сдерживания [28:14]. Уэс Рот отмечает, что элементы этой реальности существуют уже сегодня: * В 2023 году над Калифорнией прошли успешные испытания модифицированных истребителей F-16 под управлением ИИ, которые в симуляциях полностью уничтожали опытных пилотов-людей [25:26]. * Китайские военные демонстрируют рои дронов, эффективно маневрирующие в бамбуковых лесах [26:43], а также четвероногих роботов с установленными пулеметами и огнеметами [31:44]. Основным полем битвы в ближайшие годы станет инфраструктура. Главным дефицитом станут не только чипы, но и электроэнергия [30:01]. В этом аспекте Китай обладает колоссальным преимуществом благодаря своим промышленным мощностям: за последнее десятилетие КНР ввела в эксплуатацию объем энергетических мощностей, сопоставимый со всей энергосистемой США [30:13]. По оценке Ашенбреннера, построить гигантский вычислительный кластер мощностью в 100 ГВт в Китае будет значительно проще [30:27]. В то же время китайские лаборатории активно занимаются промышленным шпионажем в американских компаниях, стремясь скопировать архитектурные решения для последующего быстрого масштабирования [29:32]. ## 🔒 Вечный цифровой тоталитаризм и слухи об аукционе AGI [[JUMP:38:46]] Развитие технологий контроля несет беспрецедентные риски для гражданских свобод. Ашенбреннер обращает внимание на то, что сверхинтеллект может навсегда зацементировать авторитарные режимы [41:12]. Ссылаясь на «Архипелаг ГУЛАГ» Александра Солженицына, Уэс Рот напоминает, что граждане царской России никогда не поверили бы, что технологический прогресс XX века приведет не к процветанию, а к пыткам и гибели миллионов людей в советских лагерях [39:37]. В условиях применения суперинтеллекта тоталитарное государство получает абсолютное оружие против любого внутреннего сопротивления [40:20]: * Полностью лояльная армия и спецслужбы, состоящие из роботов и ИИ, исключают возможность военных переворотов или восстаний [40:20]. * Системы тотального распознавания лжи и непрерывного видеонаблюдения позволят мгновенно выявлять любых диссидентов на ранних стадиях [40:33]. * В такой системе появление реформаторов вроде Михаила Горбачева станет физически невозможным, а догмы правящей партии будут зафиксированы на столетия вперед [40:33]. На фоне этих экзистенциальных угроз Ашенбреннер озвучил крайне спорный слух, циркулирующий в индустрии [42:05]. По его утверждению, полученному от нескольких независимых источников, руководство OpenAI несколько лет назад кулуарно обсуждало план финансирования разработки ИИ путем организации закрытого аукциона по продаже AGI [42:43]. В рамках этого гипотетического плана предполагалось столкнуть лбами правительства США, Китая и России в борьбе за владение технологией, чтобы максимизировать цену сделки [42:56]. Сам Ашенбреннер выражает крайнее удивление тем, что руководство компании было готово рассматривать продажу столь опасного инструмента авторитарным режимам [43:08]. В то же время критики и сторонники OpenAI призывают относиться к подобным слухам с осторожностью, поскольку официальных документов, подтверждающих подобные намерения, представлено не было [42:43]. Тем не менее, подтвержденные попытки Сэма Альтмана привлечь триллионы долларов из стран Ближнего Востока (в частности, ОАЭ) на чип-проекты косвенно свидетельствуют о готовности искать финансирование за пределами США [43:21].