# Коннор Лихи: «Современные ИИ — это неконтролируемые инопланетные сущности»

Источник: https://www.youtube.com/watch?v=7BqcdYRyS4s
Канал: The Cognitive Revolution
Опубликовано: 19.05.2023

---

## 🤖 Коннор Лихи: почему современный ИИ — это «магия» и путь к катастрофе
[[JUMP:2:07]]

Последние несколько лет стали самыми значимыми в карьере Коннора Лихи, генерального директора компании Conjecture, занимающейся исследованиями в области масштабируемого ИИ-alignment (согласования целей ИИ с человеческими). В откровенном разговоре с Гасом Докером в подкасте Future of Life Institute (FLI) Лихи объясняет, почему нынешний бум вокруг GPT-4 — это не просто технологический прорыв, а опасный «гоночный заезд» к неконтролируемому сверхразуму. Главный сюжет дискуссии — поиск альтернативы текущим «черным ящикам» в виде концепции «когнитивных эмуляций» (co-ems), которые могли бы вернуть человечеству контроль над собственным будущим.

### 🔮 Проблема «магических» систем
[[JUMP:18:22]]

Коннор Лихи использует термин «магия» для описания современных нейронных сетей не как комплимент, а как предупреждение. В программировании, по его словам, абстракции понятны: если вы пишете код калькулятора, вы точно знаете, почему на выходе получаете «4». С нейросетями всё иначе.

*   **Отсутствие понимания:** Когда разработчики дают GPT-4 задачу, они не знают, что происходит внутри «черного ящика» между вводом и выводом.
*   **Странные режимы сбоя:** Модели склонны к нечеловеческим ошибкам — например, при изменении одного пикселя на фото собаки нейросеть может внезапно распознать в ней страуса.
*   **Метафора «Шоггота»:** Лихи поддерживает популярный в Twitter мем: представьте себе огромное лавкрафтианское чудовище (базовая модель), на которое надели улыбающуюся маску (RLHF — обучение с подкреплением на основе отзывов людей). Пока вы не выходите за рамки привычных сценариев, маска держится, но снаружи — «бурлящее безумие», которое не обладает человеческой логикой или эмоциями.

По мнению гостя, называть эти системы «большими языковыми моделями» — ошибка. Это «двигатели общей когниции», которые используют язык лишь как случайный интерфейс для взаимодействия с миром.

### 🛠 Концепция «когнитивных эмуляций» (co-ems)
[[JUMP:29:42]]

Чтобы избежать экзистенциальных рисков, Лихи предлагает строить не «богоподобные» ИИ, а системы, эмулирующие человеческий способ мышления (co-ems, от *cognitive emulations*). 

*   **Принципы работы:** Это не одна «сверхличность» с IQ 1000, а «компания» из множества ограниченных, предсказуемых подкомпонентов. Каждый из них — это «мыслящий сгусток» без эмоций, желаний или идентичности, действующий как платонический человеческий неокортекс.
*   **Человеческая эпистемология:** Лихи считает, что научный прогресс у людей строится на «клевых упрощениях» — искусственном снижении размерности задач. Если мы заставим ИИ работать через такие же понятные людям «узкие» алгоритмы, мы получим возможность проверять каждый этап их рассуждений.
*   **Безопасность через ограничение:** Цель — сделать пользователя не «сверхчеловеком», а «параллельным процессором», способным управлять тысячей таких «сотрудников», работающих над задачами в рамках человеческих возможностей.

### 🏁 Гонка к краю пропасти
[[JUMP:130:50]]

Коннор Лихи рисует мрачную картину текущей ситуации в индустрии. Он утверждает, что небольшая группа технооптимистов в Лондоне и Кремниевой долине сознательно игнорирует риски, продвигая разработку AGI (искусственного общего интеллекта) с той же скоростью, с какой они создавали свои предыдущие продукты.

*   **Ложная интерпретация AGI:** Когда обычные люди слышат «AGI», они представляют дружелюбного робота-помощника. Когда же главы OpenAI или DeepMind говорят «AGI», они имеют в виду нечеловеческую, самосовершенствующуюся систему, способную свергнуть правительство или уничтожить человечество.
*   **Необходимость торможения:** По мнению гостя, общество должно осознать эту подмену понятий. Он видит небольшую надежду в том, что политики и специалисты по национальной безопасности начинают «паниковать», осознавая реальные масштабы опасности.

Лихи признает, что его план по переходу к безопасным co-ems требует невероятного уровня координации и сотрудничества с правительствами, что, по иронии самого автора, «никогда не работает, если требует выполнения более двух условий». Тем не менее, он настаивает: текущая «смертельная гонка» — это не судьба, а выбор, и до тех пор, пока мы не «перелетели через край», у нас есть шанс замедлиться и выстроить более надежную архитектуру будущего.