Коннор Лихи и Гейб, исследователи из Tufa AI Labs и участники движения за безопасность ИИ, представляют «Компендиум» — 115-страничный манифест, объясняющий неизбежность катастрофы при текущем векторе развития технологий. Они аргументируют необходимость создания глобального проекта уровня Манхэттенского для решения проблемы экзистенциального риска, исходящего от сверхразума.
🧪 Алхимия интеллекта и ловушка масштабирования 0:00
Современное состояние области искусственного интеллекта Коннор Лихи характеризует как «до-научное» . По его мнению, мы находимся на стадии «алхимиков», которые смешивают вещества и видят результат, но не понимают глубинной физики процесса.
Ключевые тезисы Лихи о развитии ИИ:
- Масштабирование вместо понимания: Текущие успехи достигнуты не за счёт понимания механизмов мышления, а за счёт простого увеличения вычислительных мощностей и объёма данных .
- Интеллект как «черный ящик»: Исследователи итерируют алгоритмы, пока они не «заработают», не имея объективной теории интеллекта .
- Биологическая аналогия: Лихи отмечает, что эволюция «создала» человека из «супа частиц», просто увеличив мозг примата, что привело к резкому скачку способностей — от собирательства до создания ядерных бомб .
- Отсутствие предсказуемости: Поскольку мы не понимаем, почему масштабирование работает, мы не можем предсказать, в какой момент оно остановится или приведёт к неконтролируемому взрыву способностей .
По мнению Гейба, интеллект можно определить прагматично как способность решать задачи в условиях ограниченных ресурсов . Однако это определение намеренно расплывчато, так как наука пока не смогла провести четкую грань между интеллектом животных, нейросетей и человека .
⚠️ Критика корпоративного «элаймента» 39:58
Оба гостя крайне скептически относятся к заявлениям таких компаний, как OpenAI, Google DeepMind и Anthropic, о безопасности их систем. Коннор Лихи сравнивает их обещания саморегулирования с попытками нефтяных гигантов вроде ExxonMobil убедить общество в том, что они решат проблему изменения климата своими силами .
Участники дискуссии выделяют следующие проблемы:
- Safety-washing (PR-отмывка): Термин «элаймент» (согласование) был подменён. Изначально он означал согласование сверхмощных систем с человеческими ценностями, но теперь его используют для описания создания «вежливых чат-ботов», которые нравятся пользователям .
- Захват терминологии: По словам Гейба, OpenAI переименовали оригинальную проблему элаймента в «суперэлаймент», чтобы дистанцироваться от фундаментальных рисков .
- Отсутствие метрик: На текущий момент не существует научных методов измерения прогресса в области морали, теории общественного выбора или управления сложными системами в контексте ИИ .
Лихи утверждает, что лидеры индустрии (Сэм Альтман, Демис Хассабис, Дарио Амодеи) публично признают риск вымирания человечества, подписав соответствующие заявления, но при этом продолжают гонку вооружений, игнорируя меры реальной безопасности .
🏛️ Политическая стратегия: 60 встреч с британским парламентом 1:12:45
Гейб поделился результатами практической работы с государственными институтами. Вопреки мнению многих IT-специалистов о том, что политики «ничего не понимают», реальный опыт общения в Великобритании оказался иным.
Результаты лоббирования Control AI:
- Метод: Команда отправила «холодные» письма членам Парламента (MP) и Лордам .
- Охват: Было проведено 60 встреч с политиками за несколько месяцев .
- Эффективность: Около 33% (20 депутатов) поддержали заявление о необходимости обязательного регулирования ИИ из-за риска вымирания .
- Реакция экспертов: Профессиональные лоббисты предсказывали полный провал, утверждая, что слово «вымирание» (extinction) отпугнёт политиков, однако это оказалось неверным .
Гейб настаивает на том, что институты власти в западных странах функционируют лучше, чем принято считать в «пузыре» Кремниевой долины . Он считает, что республиканская демократия — это не технократия, и задача экспертов состоит в том, чтобы предоставить представителям народа достоверную информацию .
🛡️ Предложения по регулированию: Запрет AGI и «красные кнопки» 1:25:00
Коннор Лихи и Гейб предлагают радикальные, но, по их мнению, необходимые меры для предотвращения катастрофы.
Основные механизмы контроля:
- Запрет на разработку AGI: Лихи выступает за то, чтобы сделать создание нерегулируемого и непроверенного сильного ИИ незаконным .
- Ограничение вычислительных мощностей: Введение порога на обучающие прогоны (compute threshold), выше которого требуется государственное лицензирование .
- Глобальный «выключатель» (Kill Switch): Каждая страна должна иметь физическую возможность отключить вычислительные кластеры на своей территории в случае угрозы выхода ИИ из-под контроля . Проверка этого механизма должна проводиться каждые 3–6 месяцев .
- Международный договор с порогом активации: Чтобы избежать проблемы «дилеммы заключенного», договор должен вступать в силу только при условии его подписания странами, представляющими, например, 35% мирового ВВП и 35% населения планеты .
Лихи подчеркивает, что он не призывает запрещать языковые модели (LLM) как таковые, но выступает против выпуска в открытый доступ моделей уровня GPT-5 и выше, так как риски слишком велики .
🧠 Идеологическое противостояние: Гуманизм против Хаоса 31:35
В интервью подробно обсуждаются философские разногласия между сторонниками безопасности и «акселерационистами» (e/acc). Коннор Лихи критикует либертарианские взгляды, популярные в IT-среде.
Аргументы против либертарианства в ИИ:
- «Домашние коты»: Лихи называет либертарианцев «домашними котами», которые полностью зависят от системы (законов, инфраструктуры, безопасности), которую они не понимают и не ценят .
- Порядок против Энтропии: По мнению Коннора, состояние природы — это не гармония, а хаос, насилие и смерть. Цивилизация и институты — это редкие аномалии, которые нужно защищать .
- Критика «техно-феодализма»: Гейб отмечает, что без регулирования мы движемся к концентрации власти в руках немногих владельцев GPU, что разрушает основы западного либерального общества .
Оба спикера сошлись во мнении, что вера акселерационистов в то, что «рынок всё исправит», является ошибкой, так как ИИ представляет собой угрозу самому существованию рынка и человеческой субъектности .
🚀 Проект «Манхэттен» для безопасности 45:20
Финальное предложение Лихи заключается в создании изолированного международного исследовательского центра, где лучшие умы человечества будут работать над проблемой элаймента на протяжении десятилетий, не участвуя в коммерческой гонке .
По мнению Лихи, для успеха такого проекта необходимо:
- Высочайший уровень кибербезопасности для предотвращения утечек весов моделей .
- Междисциплинарный подход: участие не только инженеров, но и философов, социологов и экспертов по теории игр .
- Отказ от коммерческого давления: целью должно быть понимание природы интеллекта и создание надежных механизмов контроля, а не выпуск продукта .
Коннор резюмирует, что если человечество не способно организовать проект такого масштаба для собственного спасения, значит, оно «даже не пытается» выжить .
