# Коннор Лихи: «Нам нужен Манхэттенский проект для спасения от сверхразума» Источник: https://www.youtube.com/watch?v=Dt1ySXYTGuA Канал: Machine Learning Street Talk Опубликовано: 27.03.2025 --- Коннор Лихи и Гейб, исследователи из Tufa AI Labs и участники движения за безопасность ИИ, представляют «Компендиум» — 115-страничный манифест, объясняющий неизбежность катастрофы при текущем векторе развития технологий. Они аргументируют необходимость создания глобального проекта уровня Манхэттенского для решения проблемы экзистенциального риска, исходящего от сверхразума. ## 🧪 Алхимия интеллекта и ловушка масштабирования [[JUMP:0:00]] Современное состояние области искусственного интеллекта Коннор Лихи характеризует как «до-научное» [5:58]. По его мнению, мы находимся на стадии «алхимиков», которые смешивают вещества и видят результат, но не понимают глубинной физики процесса. Ключевые тезисы Лихи о развитии ИИ: * **Масштабирование вместо понимания:** Текущие успехи достигнуты не за счёт понимания механизмов мышления, а за счёт простого увеличения вычислительных мощностей и объёма данных [2:30]. * **Интеллект как «черный ящик»:** Исследователи итерируют алгоритмы, пока они не «заработают», не имея объективной теории интеллекта [2:46]. * **Биологическая аналогия:** Лихи отмечает, что эволюция «создала» человека из «супа частиц», просто увеличив мозг примата, что привело к резкому скачку способностей — от собирательства до создания ядерных бомб [4:11]. * **Отсутствие предсказуемости:** Поскольку мы не понимаем, почему масштабирование работает, мы не можем предсказать, в какой момент оно остановится или приведёт к неконтролируемому взрыву способностей [4:39]. По мнению Гейба, интеллект можно определить прагматично как способность решать задачи в условиях ограниченных ресурсов [9:12]. Однако это определение намеренно расплывчато, так как наука пока не смогла провести четкую грань между интеллектом животных, нейросетей и человека [15:23]. ## ⚠️ Критика корпоративного «элаймента» [[JUMP:39:58]] Оба гостя крайне скептически относятся к заявлениям таких компаний, как OpenAI, Google DeepMind и Anthropic, о безопасности их систем. Коннор Лихи сравнивает их обещания саморегулирования с попытками нефтяных гигантов вроде ExxonMobil убедить общество в том, что они решат проблему изменения климата своими силами [40:39]. Участники дискуссии выделяют следующие проблемы: 1. **Safety-washing (PR-отмывка):** Термин «элаймент» (согласование) был подменён. Изначально он означал согласование сверхмощных систем с человеческими ценностями, но теперь его используют для описания создания «вежливых чат-ботов», которые нравятся пользователям [42:18]. 2. **Захват терминологии:** По словам Гейба, OpenAI переименовали оригинальную проблему элаймента в «суперэлаймент», чтобы дистанцироваться от фундаментальных рисков [42:42]. 3. **Отсутствие метрик:** На текущий момент не существует научных методов измерения прогресса в области морали, теории общественного выбора или управления сложными системами в контексте ИИ [44:06]. Лихи утверждает, что лидеры индустрии (Сэм Альтман, Демис Хассабис, Дарио Амодеи) публично признают риск вымирания человечества, подписав соответствующие заявления, но при этом продолжают гонку вооружений, игнорируя меры реальной безопасности [25:37]. ## 🏛️ Политическая стратегия: 60 встреч с британским парламентом [[JUMP:1:12:45]] Гейб поделился результатами практической работы с государственными институтами. Вопреки мнению многих IT-специалистов о том, что политики «ничего не понимают», реальный опыт общения в Великобритании оказался иным. Результаты лоббирования Control AI: * **Метод:** Команда отправила «холодные» письма членам Парламента (MP) и Лордам [1:14:20]. * **Охват:** Было проведено 60 встреч с политиками за несколько месяцев [1:14:20]. * **Эффективность:** Около 33% (20 депутатов) поддержали заявление о необходимости обязательного регулирования ИИ из-за риска вымирания [1:15:04]. * **Реакция экспертов:** Профессиональные лоббисты предсказывали полный провал, утверждая, что слово «вымирание» (extinction) отпугнёт политиков, однако это оказалось неверным [1:16:05]. Гейб настаивает на том, что институты власти в западных странах функционируют лучше, чем принято считать в «пузыре» Кремниевой долины [1:18:26]. Он считает, что республиканская демократия — это не технократия, и задача экспертов состоит в том, чтобы предоставить представителям народа достоверную информацию [1:13:49]. ## 🛡️ Предложения по регулированию: Запрет AGI и «красные кнопки» [[JUMP:1:25:00]] Коннор Лихи и Гейб предлагают радикальные, но, по их мнению, необходимые меры для предотвращения катастрофы. Основные механизмы контроля: * **Запрет на разработку AGI:** Лихи выступает за то, чтобы сделать создание нерегулируемого и непроверенного сильного ИИ незаконным [1:30:53]. * **Ограничение вычислительных мощностей:** Введение порога на обучающие прогоны (compute threshold), выше которого требуется государственное лицензирование [21:46]. * **Глобальный «выключатель» (Kill Switch):** Каждая страна должна иметь физическую возможность отключить вычислительные кластеры на своей территории в случае угрозы выхода ИИ из-под контроля [1:25:44]. Проверка этого механизма должна проводиться каждые 3–6 месяцев [1:25:44]. * **Международный договор с порогом активации:** Чтобы избежать проблемы «дилеммы заключенного», договор должен вступать в силу только при условии его подписания странами, представляющими, например, 35% мирового ВВП и 35% населения планеты [1:26:22]. Лихи подчеркивает, что он не призывает запрещать языковые модели (LLM) как таковые, но выступает против выпуска в открытый доступ моделей уровня GPT-5 и выше, так как риски слишком велики [1:31:07]. ## 🧠 Идеологическое противостояние: Гуманизм против Хаоса [[JUMP:31:35]] В интервью подробно обсуждаются философские разногласия между сторонниками безопасности и «акселерационистами» (e/acc). Коннор Лихи критикует либертарианские взгляды, популярные в IT-среде. Аргументы против либертарианства в ИИ: * **«Домашние коты»:** Лихи называет либертарианцев «домашними котами», которые полностью зависят от системы (законов, инфраструктуры, безопасности), которую они не понимают и не ценят [37:18]. * **Порядок против Энтропии:** По мнению Коннора, состояние природы — это не гармония, а хаос, насилие и смерть. Цивилизация и институты — это редкие аномалии, которые нужно защищать [35:09]. * **Критика «техно-феодализма»:** Гейб отмечает, что без регулирования мы движемся к концентрации власти в руках немногих владельцев GPU, что разрушает основы западного либерального общества [32:54]. Оба спикера сошлись во мнении, что вера акселерационистов в то, что «рынок всё исправит», является ошибкой, так как ИИ представляет собой угрозу самому существованию рынка и человеческой субъектности [38:54]. ## 🚀 Проект «Манхэттен» для безопасности [[JUMP:45:20]] Финальное предложение Лихи заключается в создании изолированного международного исследовательского центра, где лучшие умы человечества будут работать над проблемой элаймента на протяжении десятилетий, не участвуя в коммерческой гонке [46:58]. По мнению Лихи, для успеха такого проекта необходимо: * Высочайший уровень кибербезопасности для предотвращения утечек весов моделей [46:58]. * Междисциплинарный подход: участие не только инженеров, но и философов, социологов и экспертов по теории игр [43:36]. * Отказ от коммерческого давления: целью должно быть понимание природы интеллекта и создание надежных механизмов контроля, а не выпуск продукта [51:40]. Коннор резюмирует, что если человечество не способно организовать проект такого масштаба для собственного спасения, значит, оно «даже не пытается» выжить [45:49].