Специалисты по безопасности искусственного интеллекта Коннор Лихи (Connor Leahy) и Габриэль (Gabe) представляют свой манифест — 115-страничный «Компендиум», в котором аргументируют неизбежность катастрофы при нынешнем подходе к разработке ИИ. В интервью для Machine Learning Street Talk они объясняют, почему Кремниевая долина занимается «санитарной обработкой» (safety washing) рисков, и предлагают радикальный план: создание «Проекта Манхэттен» для безопасности ИИ и возвращение к жесткому государственному регулированию.
🧠 Природа интеллекта: почему «выращивание» ИИ опаснее проектирования 2:04
Коннор Лихи утверждает, что современные достижения в области ИИ обусловлены почти исключительно масштабированием вычислительных мощностей, а не глубоким пониманием механизмов работы интеллекта . По его мнению, безопасность отодвигается на второй план, в то время как OpenAI, DeepMind и Anthropic направляют все ресурсы на создание более мощных моделей .
Ключевые тезисы участников о природе современных технологий:
- ИИ не проектируется, а выращивается: Коннор Лихи сравнивает создание ИИ с процессом, когда «частицы в супе перемешиваются, пока из них не возникнет человек» . Мы не понимаем, как работает этот «черный ящик».
- Отсутствие научной базы: Собеседники считают, что мы находимся на «доученом» этапе развития, подобно алхимикам до появления химии . У человечества нет объективной метрики или теории интеллекта.
- Спектр интеллекта: По мнению Коннора Лихи, нет четкой границы между животными и людьми или между ChatGPT и человеком . Все это континуум, где количественные изменения (объем мозга, количество нейронов) приводят к качественным скачкам (способность создавать искусство или ядерное оружие) .
- Опасность разрыва: Даже небольшое увеличение «размера мозга» (или вычислительной мощности) может привести к появлению способностей, которые невозможно предсказать заранее .
Габриэль дополняет, что из континуума могут возникать внезапные разрывы (discontinuities) . Например, появление письменности или религии позволило людям передавать информацию с гораздо большей пропускной способностью, чем это доступно другим видам .
🚬 Аналогия с Big Tobacco: почему саморегулирование лабораторий — миф 19:25
Коннор Лихи проводит параллель между нынешними заявлениями ИИ-лабораторий и поведением табачных компаний в 1950-х и 60-х годах . Тогда производители сигарет утверждали, что, пока наука точно не определила, какое именно вещество вызывает рак, регулировать отрасль рано.
Аргументы против доверия корпорациям:
- Конфликт интересов: Коннор Лихи иронизирует над Дарио Амодеи (CEO Anthropic) и Сэмом Альтманом, сравнивая их с инженерами ExxonMobil, которые заверяют, что их новые нефтяные вышки «точно не станут проблемой для климата» .
- Переименование понятий: Участники утверждают, что термин «alignment» (настройка/выравнивание) был подменен. Изначально он означал согласование целей сверхчеловеческого ИИ с человеческими ценностями, но теперь корпорации используют его как синоним «создания приятного чат-бота», который не ругается .
- «1984» в исполнении OpenAI: По словам Габриэля, OpenAI совершила маневр в духе Оруэлла, назвав оригинальную проблему настройки «супервыравниванием» (superalignment), как будто обычная настройка уже решена .
По мнению собеседников, нынешние системы безопасности — это лишь PR-кампания, направленная на то, чтобы пользователи любили продукт, но она не решает проблему контроля над системой, которая может стать «мировым диктатором» .
🏗️ Проект Манхэттен для безопасности ИИ 45:23
В качестве решения Коннор Лихи и Габриэль предлагают создать масштабный государственный проект, аналогичный «Проекту Манхэттен» . Основная идея заключается в том, чтобы собрать величайших ученых поколения для решения проблемы контроля, а не для ускорения гонки.
Основные требования к такому проекту по версии гостей:
- Закрытость и безопасность: Организация должна быть отрезана от остального мира, обладать сверхвысоким уровнем кибербезопасности и работать десятилетиями или даже столетиями .
- Способность «не делать»: Главное свойство такого института — обладая знаниями о том, как создать сверхразум (ASI), иметь волю и протоколы, чтобы НЕ создавать его до тех пор, пока безопасность не будет гарантирована .
- Междисциплинарный подход: Необходимо развивать «микроэкономику сверхразума», теорию общественного выбора и социологию систем, превосходящих человека .
Габриэль подчеркивает, что современные институты не справляются даже с базовыми задачами: «Мы не можем ограничить власть богатейших людей мира, таких как Илон Маск, когда они вступают в сговор с политиками. Как мы можем надеяться ограничить систему, которая в миллиард раз мощнее?» .
🏛️ Лоббирование и «Шоу Трумана»: реальные успехи активистов 1:13:08
Один из самых ярких моментов интервью — рассказ Габриэля о работе их организации Control AI. Вопреки распространенному мнению, что политики «ничего не понимают в ИИ», активисты добились значительных результатов простыми методами.
Результаты эксперимента в Великобритании:
- Метод: Активисты отправили «холодные» письма всем членам парламента (MPs) и лордам .
- Статистика: Им удалось провести более 60 встреч с законодателями за пару месяцев .
- Конверсия: Около 33% (каждый третий) парламентариев после встречи поддержали заявление о необходимости обязательного регулирования для предотвращения рисков исчезновения человечества .
Коннор Лихи признается, что долгое время жил в «пузыре техно-либертарианства», где его убеждали, что разговаривать с политиками бесполезно. Он сравнивает это с «Шоу Трумана»: «Мне говорили: не ходи туда, там ничего нет. А я пошел и увидел, что там живые люди, которые хотят разобраться и нуждаются в помощи» .
🛑 Практические меры по спасению человечества 1:25:01
Габриэль и Коннор Лихи предлагают конкретный список регуляторных мер, которые могут быть приняты государствами в одностороннем порядке:
- Кнопка выключения (Kill Switch): Каждое государство должно иметь возможность физически отключить все вычислительные кластеры на своей территории по нажатию «красной кнопки» президентом . Проверку этой системы нужно проводить каждые 3–6 месяцев.
- Международный договор с порогами: Предлагается договор, который вступает в силу только тогда, когда его подпишут страны, представляющие 35% мирового ВВП и 35% населения Земли . Это снимает проблему «дилеммы заключенного», когда одна страна боится проиграть в гонке, вводя ограничения первой.
- Запрет на разработку AGI: Гости выступают за то, чтобы сделать создание нерегулируемого, непроверенного сверхразума незаконным .
- Остановка Open Source для мощных моделей: Коннор Лихи считает «очень плохой идеей» открытую публикацию моделей уровня GPT-5, так как это дает в руки злоумышленников инструменты беспрецедентной мощности без возможности контроля .
🐱 Критика идеологий: «Либертарианцы — это домашние коты» 31:35
Коннор Лихи подвергает резкой критике противников регулирования, особенно либертарианцев из Кремниевой долины. По его мнению, их взгляды продиктованы не интеллектом, а привилегированным положением.
«Либертарианцы подобны домашним котам: они полностью зависят от системы, которую не понимают и не ценят», — утверждает Лихи . Он настаивает на том, что институты, верховенство закона и порядок — это не состояние природы (которое «краснозубо и жестоко»), а невероятная аномалия, которую человечество построило с огромным трудом и которую может потерять .
Собеседники выделяют пять основных идеологий, продвигающих ИИ-гонку:
- Утописты: Верят в трансгуманистический рай (Dario Amodei, эффективные альтруисты) .
- Акселерационисты (e/acc): Считают, что любой рост — это благо, и хотят всё открыть (Марк Андриссен) .
- Big Tech: ИИ для них — это просто новая форма власти и прибыли .
- Опортунисты: Люди, пришедшие из криптосферы ради хайпа .
- Идеологи силы: Те, кто считает, что первый, кто создаст AGI, станет властелином мира.
Коннор Лихи заключает, что подавляющее большинство обычных людей (не из Twitter-пузыря) поддерживают жесткое регулирование ИИ, так как не хотят умирать ради чьих-то трансгуманистических фантазий .
---META--- { "title_candidates": [ "Коннор Лихи: «Либертарианцы — это домашние коты, зависимые от системы, которую они не понимают»", "Проект Манхэттен для ИИ: Коннор Лихи и Габриэль о плане предотвращения вымирания человечества", "Коннор Лихи о гонке ИИ: «Мы выращиваем черные ящики, не имея науки об интеллекте»" ], "title": "Коннор Лихи: «Либертарианцы — это домашние коты, зависимые от системы, которую они не понимают»", "category": "Искусственный интеллект", "keywords": ["Коннор Лихи", "Machine Learning Street Talk", "AI Safety", "AGI", "OpenAI"], "tldr": [ "Создание ИИ сегодня — это не проектирование, а «выращивание» непонятных черных ящиков через масштабирование.", "Современный термин «alignment» подменен корпорациями и означает создание вежливых чат-ботов вместо контроля над сверхразумом.", "Активисты из Control AI доказали, что 33% британских парламентариев готовы поддерживать законы против ИИ-угроз после разъяснительных бесед.", "Предлагается план «Проекта Манхэттен» для безопасности: изолированный институт гениев, способный отказаться от запуска опасных систем." ], "speakers": [ { "name": "Коннор Лихи", "role": "Генеральный директор Conjecture, специалист по безопасности ИИ." }, { "name": "Габриэль", "role": "Исследователь ИИ в Tufa AI Labs, активист организации Control AI." }, { "name": "Тим Скарф", "role": "Ведущий канала Machine Learning Street Talk." } ], "books": [ { "title": "A Brief History of Intelligence", "author": "Макс Беннетт", "context": "Упомянута в контексте эволюции механизмов предсказания у млекопитающих." } ], "films": [ { "title": "The Truman Show", "year": "1998", "context": "Метафора Коннора Лихи о том, как его пытались убедить в бесполезности общения с политиками." } ], "quotes": [ { "text": "Либертарианцы — это домашние коты, полностью зависимые от системы, которую они не понимают и не ценят.", "speaker": "Коннор Лихи", "time": "37:18" }, { "text": "OpenAI совершила маневр в духе '1984', назвав оригинальную проблему настройки 'супервыравниванием'.", "speaker": "Габриэль", "time": "42:42" }, { "text": "Если вы не можете даже организовать 'Проект Манхэттен' для этой проблемы, вы даже не пытаетесь победить.", "speaker": "Коннор Лихи", "time": "00:00" } ], "mentioned_urls": [ { "url": "tufalabs.ai", "context": "Исследовательская лаборатория ИИ в Цюрихе, где работает Габриэль." }, { "url": "control.ai", "context": "Организация, занимающаяся лоббированием безопасности ИИ среди политиков." } ], "glossary": [ { "term": "Safety washing", "definition": "Пиар-тактика ИИ-компаний, создающая видимость заботы о безопасности при игнорировании фундаментальных рисков." }, { "term": "Alignment", "definition": "Процесс приведения целей и поведения ИИ в соответствие с человеческими ценностями и намерениями." }, { "term": "e/acc", "definition": "Эффективный акселерационизм — идеология, призывающая к максимально быстрому развитию технологий без ограничений." } ], "numbers": [ { "value": "115 страниц", "context": "Объем документа 'The Compendium', опубликованного гостями.", "speaker": "Тим Скарф" }, { "value": "33%", "context": "Доля британских парламентариев, поддержавших заявление об угрозе вымирания от ИИ после встреч с Control AI.", "speaker": "Габриэль" }, { "value": "35% ВВП", "context": "Порог участия стран в международном договоре, предложенный Габриэлем.", "speaker": "Габриэль" } ], "timeline": [ { "date": "Ноябрь 2023", "event": "Публикация 115-страничного манифеста 'The Compendium'." }, { "date": "Декабрь 2023 - Февраль 2024", "event": "Кампания Control AI по организации 60 встреч с британскими политиками." }, { "date": "Январь 2024", "event": "Холлден Карнофски, глава Open Philanthropy, присоединяется к Anthropic." } ], "counterpoints": [ { "claim": "Интеллект — это континуум, и между человеком и ИИ нет фундаментальной разницы.", "counter": "Сторонники Хомского и Роджера Пенроуза утверждают, что человеческий разум обладает уникальными квантовыми или алгоритмическими свойствами (например, способностью к бесконечной рекурсии), недоступными текущим архитектурам." }, { "claim": "Регулирование ИИ невозможно из-за отсутствия четких определений интеллекта.", "counter": "Либертарианцы и акселерационисты считают, что нечеткость определений приведет к 'регуляторному захвату' крупными корпорациями и подавлению инноваций в Open Source." } ] }
