Мир стоит на пороге технологического и геополитического сдвига, масштаб которого человечество еще не осознало в полной мере. В новом эпизоде подкаста «The Cognitive Revolution» ведущий Натан Лабенц и основатель стартапа Lindy Фло Кривелло обсуждают нашумевший манифест Леопольда Ашенбреннера «Situational Awareness», пытаясь осмыслить неизбежность появления AGI в ближайшие годы и те опасности, которые несет с собой глобальная гонка вооружений в сфере ИИ.
📄 Манифест Ашенбреннера: AGI как вопрос национальной безопасности 0:39
Центральной темой беседы стал документ «Situational Awareness» (Ситуационная осведомленность), написанный Леопольдом Ашенбреннером, бывшим сотрудником команды супервыравнивания (superalignment) в OpenAI . По словам Натана Лабенца, основные тезисы манифеста сводятся к следующему:
- Общий искусственный интеллект (AGI) крайне близок, а супер интеллект (ASI), вероятно, появится вскоре после него .
- В текущем геополитическом контексте соревнование между США и Китаем за превосходство в ИИ неизбежно превратится в опасную гонку вооружений .
- США необходимо сохранить значительный технологический отрыв, чтобы успеть решить критические проблемы безопасности ИИ до развертывания сверхмощных систем .
Фло Кривелло признается, что чтение этого манифеста лишило его сна . По мнению гостя, аргументы Ашенбреннера изложены настолько убедительно, что любой человек, понимающий суть происходящего, должен «начать паниковать» . Кривелло считает, что мы находимся в фазе, когда идеи, казавшиеся фантастикой еще пару лет назад, становятся наиболее вероятным сценарием развития истории.
📈 Опровержение «плато» и гипотеза масштабирования 6:03
В сообществе скептиков часто звучит тезис о том, что прогресс ИИ замедлился, так как с момента обучения GPT-4 прошло более 18 месяцев . Фло Кривелло категорически не согласен с этим утверждением и приводит ряд фактов:
- Оптимизация стоимости и скорости. Появились модели уровня GPT-4 (например, Gemini 1.5 Flash), которые в 100 раз дешевле и в 10–100 раз быстрее оригинала .
- Окно контекста. За последние полтора года размер контекстного окна вырос с 4 000 до 1 000 000 токенов .
- Мультимодальность. Новые архитектуры, такие как в GPT-4o, обрабатывают текст, аудио и пиксели в едином пространстве, что позволяет избегать задержек при транскрибации .
Натан Лабенц добавляет пример из личной практики: модель Gemini Flash смогла проанализировать 250 000 токенов его переписки (около 250 писем) и составить точный психологический портрет всего за 45 секунд и 20 центов . Раньше для этого требовалось сложное дробление данных на части, что приводило к потере контекста.
Фло Кривелло утверждает, что «гипотеза масштабирования» (scaling hypothesis) продолжает работать: интеллект эмерджентно возникает при увеличении вычислительных мощностей и объемов данных . По его прогнозу, GPT-5 выйдет в третьем или четвертом квартале 2024 года и снова удивит мир своими способностями .
⏳ Таймлайны: Почему 2030 год станет решающим 12:47
Фло Кривелло пересмотрел свои прогнозы относительно сроков появления AGI. Теперь он придерживается двух ключевых идей:
- Окно возможностей. Если AGI не будет достигнут к 2030–2032 годам, то, скорее всего, он не появится и к 2040-му . Это связано с тем, что сейчас индустрия забирает «низко висящие плоды»: оптимизацию алгоритмов, доступные данные и гигантские инвестиции. Когда тренировочные запуски достигнут стоимости в $1 трлн, расти дальше будет крайне сложно .
- Скорость взлета. Кривелло больше не разделяет AGI и супер интеллект (ASI) большим временным промежутком. Он считает, что как только ИИ сможет автоматизировать исследования в области самого ИИ, произойдет взрывной рост производительности . По его оценке, этот переход займет от 1 до 4 лет.
Натан Лабенц отмечает, что определение AGI само по себе размыто. Он предполагает, что OpenAI может объявить о достижении AGI в 2025 году просто для того, чтобы пересмотреть контрактные обязательства с Microsoft . По мнению ведущего, современные модели уже близки к уровню обычного «белого воротничка», а следующий шаг — обучение на данных о выполнении долгосрочных проектов .
☣️ Риски: От «ошибок выравнивания» к реальным угрозам 22:36
Собеседники выделяют два типа рисков, связанных с продвинутым ИИ. Первый — это «восстание машин» или Rogue AI, к которому многие относятся скептически. Однако второй тип — риск злоупотребления (misuse) — Фло Кривелло считает абсолютно неизбежным и недооцененным .
Он цитирует Дарио Амодеи из Anthropic, указывая на исчезновение «невидимой защиты» мира . Раньше злоумышленники редко были высококвалифицированными специалистами, так как образование обычно ведет к социализации и росту альтернативных издержек (проще стать инженером и заработать деньги, чем террористом) . ИИ ломает эту логику, предоставляя возможности «доктора наук» любому психопату.
Ключевые угрозы, по мнению Кривелло:
- Биологическое оружие. Повышение доступности знаний о создании патогенов.
- Кибервойны. Появление «суперхакера» в руках каждого пользователя . Фло описывает сценарий «тумана войны»: одновременное отключение банковской системы, связи и электросетей по всему миру .
Аргумент о том, что «хороший ИИ защитит от плохого ИИ», гость считает слабым. По его словам, защитные системы в банках или государственных структурах всегда будут внедряться медленнее, чем атакующие инструменты у хакеров в России или Северной Корее .
⛓️ Регулирование и закрытость: Конец эпохи Open Source? 48:12
Несмотря на свои либертарианские взгляды, Фло Кривелло выступает за жесткое регулирование отрасли и прекращение практики публикации открытых весов (open weights) для мощных моделей [31:02, 51:35].
Его аргументы против открытого ПО в сфере ИИ:
- Невозможность аудита. Модели — это «густые джунгли», мы до сих пор не знаем точно, на что способна GPT-4 .
- Легкость снятия ограничений. Любые встроенные предохранители (safety alignment) легко удаляются из открытых моделей, создавая «бесцензурные» версии (например, семейства Wizard Uncensored) .
- Отсутствие преимуществ. Все плюсы открытого кода (возможность дообучения или проверки на закладки) могут быть реализованы через структурированный доступ к API, не отдавая веса модели в руки злоумышленников .
Кривелло призывает к созданию «Манхэттенского проекта по выравниванию ИИ» (Alignment), на который должны быть выделены десятки миллиардов долларов . По его мнению, если компании тратят огромные вычислительные мощности (Flops) на наращивание способностей моделей, они должны тратить пропорциональное количество ресурсов на безопасность .
🛠️ Будущее Lindy и агентского ИИ 58:44
Обсуждая практическую сторону индустрии, Фло Кривелло рассказал, как его компания Lindy адаптируется к будущему выходу GPT-5. Вместо обучения собственных моделей, Lindy строит «когнитивную архитектуру» вокруг существующих LLM .
Эта архитектура включает:
- Долгосрочную память и RAG. Система постоянно учится на фидбеке пользователя. Кривелло утверждает, что слухи о «смерти RAG» из-за больших контекстных окон преувеличены — извлекать данные из базы все еще в 100 раз дешевле, чем каждый раз скармливать модели миллион токенов .
- Инструментарий. Возможность для агента использовать не только API, но и компьютерный интерфейс, участвовать в звонках в Zoom и совершать телефонные вызовы .
Натан Лабенц описывает свою позицию как «акселерационист внедрения, но сторонник паузы в масштабировании» (adoption accelerationist hyperscaling pauser) . Он считает, что уровня GPT-4 или GPT-5 достаточно для большинства экономических задач — медицины, юриспруденции, кодинга. По мнению Лабенца, нам следует сосредоточиться на внедрении этих технологий в реальную жизнь, прежде чем делать следующий скачок в мощностях, который может оказаться фатальным .
