# Фло Кривелло: «AGI неизбежен, и пришло время начать паниковать»

Источник: https://www.youtube.com/watch?v=63IcnsI6DS0
Канал: The Cognitive Revolution
Опубликовано: 08.06.2024

---

Мир стоит на пороге технологического и геополитического сдвига, масштаб которого человечество еще не осознало в полной мере. В новом эпизоде подкаста «The Cognitive Revolution» ведущий Натан Лабенц и основатель стартапа Lindy Фло Кривелло обсуждают нашумевший манифест Леопольда Ашенбреннера «Situational Awareness», пытаясь осмыслить неизбежность появления AGI в ближайшие годы и те опасности, которые несет с собой глобальная гонка вооружений в сфере ИИ.

## 📄 Манифест Ашенбреннера: AGI как вопрос национальной безопасности
[[JUMP:00:39]]

Центральной темой беседы стал документ «Situational Awareness» (Ситуационная осведомленность), написанный Леопольдом Ашенбреннером, бывшим сотрудником команды супервыравнивания (superalignment) в OpenAI [00:39]. По словам Натана Лабенца, основные тезисы манифеста сводятся к следующему:

*   Общий искусственный интеллект (AGI) крайне близок, а супер интеллект (ASI), вероятно, появится вскоре после него [00:51].
*   В текущем геополитическом контексте соревнование между США и Китаем за превосходство в ИИ неизбежно превратится в опасную гонку вооружений [01:04].
*   США необходимо сохранить значительный технологический отрыв, чтобы успеть решить критические проблемы безопасности ИИ до развертывания сверхмощных систем [01:17].

Фло Кривелло признается, что чтение этого манифеста лишило его сна [05:08]. По мнению гостя, аргументы Ашенбреннера изложены настолько убедительно, что любой человек, понимающий суть происходящего, должен «начать паниковать» [05:21]. Кривелло считает, что мы находимся в фазе, когда идеи, казавшиеся фантастикой еще пару лет назад, становятся наиболее вероятным сценарием развития истории.

## 📈 Опровержение «плато» и гипотеза масштабирования
[[JUMP:06:03]]

В сообществе скептиков часто звучит тезис о том, что прогресс ИИ замедлился, так как с момента обучения GPT-4 прошло более 18 месяцев [06:16]. Фло Кривелло категорически не согласен с этим утверждением и приводит ряд фактов:

1.  **Оптимизация стоимости и скорости.** Появились модели уровня GPT-4 (например, Gemini 1.5 Flash), которые в 100 раз дешевле и в 10–100 раз быстрее оригинала [07:09].
2.  **Окно контекста.** За последние полтора года размер контекстного окна вырос с 4 000 до 1 000 000 токенов [07:52].
3.  **Мультимодальность.** Новые архитектуры, такие как в GPT-4o, обрабатывают текст, аудио и пиксели в едином пространстве, что позволяет избегать задержек при транскрибации [10:46].

Натан Лабенц добавляет пример из личной практики: модель Gemini Flash смогла проанализировать 250 000 токенов его переписки (около 250 писем) и составить точный психологический портрет всего за 45 секунд и 20 центов [09:11]. Раньше для этого требовалось сложное дробление данных на части, что приводило к потере контекста. 

Фло Кривелло утверждает, что «гипотеза масштабирования» (scaling hypothesis) продолжает работать: интеллект эмерджентно возникает при увеличении вычислительных мощностей и объемов данных [07:24]. По его прогнозу, GPT-5 выйдет в третьем или четвертом квартале 2024 года и снова удивит мир своими способностями [08:04].

## ⏳ Таймлайны: Почему 2030 год станет решающим
[[JUMP:12:47]]

Фло Кривелло пересмотрел свои прогнозы относительно сроков появления AGI. Теперь он придерживается двух ключевых идей:

*   **Окно возможностей.** Если AGI не будет достигнут к 2030–2032 годам, то, скорее всего, он не появится и к 2040-му [12:47]. Это связано с тем, что сейчас индустрия забирает «низко висящие плоды»: оптимизацию алгоритмов, доступные данные и гигантские инвестиции. Когда тренировочные запуски достигнут стоимости в $1 трлн, расти дальше будет крайне сложно [13:27].
*   **Скорость взлета.** Кривелло больше не разделяет AGI и супер интеллект (ASI) большим временным промежутком. Он считает, что как только ИИ сможет автоматизировать исследования в области самого ИИ, произойдет взрывной рост производительности [14:45]. По его оценке, этот переход займет от 1 до 4 лет.

Натан Лабенц отмечает, что определение AGI само по себе размыто. Он предполагает, что OpenAI может объявить о достижении AGI в 2025 году просто для того, чтобы пересмотреть контрактные обязательства с Microsoft [15:54]. По мнению ведущего, современные модели уже близки к уровню обычного «белого воротничка», а следующий шаг — обучение на данных о выполнении долгосрочных проектов [17:11].

## ☣️ Риски: От «ошибок выравнивания» к реальным угрозам
[[JUMP:22:36]]

Собеседники выделяют два типа рисков, связанных с продвинутым ИИ. Первый — это «восстание машин» или Rogue AI, к которому многие относятся скептически. Однако второй тип — **риск злоупотребления (misuse)** — Фло Кривелло считает абсолютно неизбежным и недооцененным [24:50].

Он цитирует Дарио Амодеи из Anthropic, указывая на исчезновение «невидимой защиты» мира [25:29]. Раньше злоумышленники редко были высококвалифицированными специалистами, так как образование обычно ведет к социализации и росту альтернативных издержек (проще стать инженером и заработать деньги, чем террористом) [25:43]. ИИ ломает эту логику, предоставляя возможности «доктора наук» любому психопату.

Ключевые угрозы, по мнению Кривелло:

*   **Биологическое оружие.** Повышение доступности знаний о создании патогенов.
*   **Кибервойны.** Появление «суперхакера» в руках каждого пользователя [27:30]. Фло описывает сценарий «тумана войны»: одновременное отключение банковской системы, связи и электросетей по всему миру [27:44].

Аргумент о том, что «хороший ИИ защитит от плохого ИИ», гость считает слабым. По его словам, защитные системы в банках или государственных структурах всегда будут внедряться медленнее, чем атакующие инструменты у хакеров в России или Северной Корее [29:03].

## ⛓️ Регулирование и закрытость: Конец эпохи Open Source?
[[JUMP:48:12]]

Несмотря на свои либертарианские взгляды, Фло Кривелло выступает за жесткое регулирование отрасли и прекращение практики публикации открытых весов (open weights) для мощных моделей [31:02, 51:35].

Его аргументы против открытого ПО в сфере ИИ:

*   **Невозможность аудита.** Модели — это «густые джунгли», мы до сих пор не знаем точно, на что способна GPT-4 [52:13].
*   **Легкость снятия ограничений.** Любые встроенные предохранители (safety alignment) легко удаляются из открытых моделей, создавая «бесцензурные» версии (например, семейства Wizard Uncensored) [53:54].
*   **Отсутствие преимуществ.** Все плюсы открытого кода (возможность дообучения или проверки на закладки) могут быть реализованы через структурированный доступ к API, не отдавая веса модели в руки злоумышленников [53:15].

Кривелло призывает к созданию «Манхэттенского проекта по выравниванию ИИ» (Alignment), на который должны быть выделены десятки миллиардов долларов [54:21]. По его мнению, если компании тратят огромные вычислительные мощности (Flops) на наращивание способностей моделей, они должны тратить пропорциональное количество ресурсов на безопасность [54:46].

## 🛠️ Будущее Lindy и агентского ИИ
[[JUMP:58:44]]

Обсуждая практическую сторону индустрии, Фло Кривелло рассказал, как его компания Lindy адаптируется к будущему выходу GPT-5. Вместо обучения собственных моделей, Lindy строит «когнитивную архитектуру» вокруг существующих LLM [59:10].

Эта архитектура включает:

*   **Долгосрочную память и RAG.** Система постоянно учится на фидбеке пользователя. Кривелло утверждает, что слухи о «смерти RAG» из-за больших контекстных окон преувеличены — извлекать данные из базы все еще в 100 раз дешевле, чем каждый раз скармливать модели миллион токенов [1:06:13].
*   **Инструментарий.** Возможность для агента использовать не только API, но и компьютерный интерфейс, участвовать в звонках в Zoom и совершать телефонные вызовы [1:01:21].

Натан Лабенц описывает свою позицию как «акселерационист внедрения, но сторонник паузы в масштабировании» (adoption accelerationist hyperscaling pauser) [1:01:48]. Он считает, что уровня GPT-4 или GPT-5 достаточно для большинства экономических задач — медицины, юриспруденции, кодинга. По мнению Лабенца, нам следует сосредоточиться на внедрении этих технологий в реальную жизнь, прежде чем делать следующий скачок в мощностях, который может оказаться фатальным [1:09:35].