🤖 Коннор Лихи: почему современный ИИ — это «магия» и путь к катастрофе 2:07
Последние несколько лет стали самыми значимыми в карьере Коннора Лихи, генерального директора компании Conjecture, занимающейся исследованиями в области масштабируемого ИИ-alignment (согласования целей ИИ с человеческими). В откровенном разговоре с Гасом Докером в подкасте Future of Life Institute (FLI) Лихи объясняет, почему нынешний бум вокруг GPT-4 — это не просто технологический прорыв, а опасный «гоночный заезд» к неконтролируемому сверхразуму. Главный сюжет дискуссии — поиск альтернативы текущим «черным ящикам» в виде концепции «когнитивных эмуляций» (co-ems), которые могли бы вернуть человечеству контроль над собственным будущим.
🔮 Проблема «магических» систем 18:22
Коннор Лихи использует термин «магия» для описания современных нейронных сетей не как комплимент, а как предупреждение. В программировании, по его словам, абстракции понятны: если вы пишете код калькулятора, вы точно знаете, почему на выходе получаете «4». С нейросетями всё иначе.
- Отсутствие понимания: Когда разработчики дают GPT-4 задачу, они не знают, что происходит внутри «черного ящика» между вводом и выводом.
- Странные режимы сбоя: Модели склонны к нечеловеческим ошибкам — например, при изменении одного пикселя на фото собаки нейросеть может внезапно распознать в ней страуса.
- Метафора «Шоггота»: Лихи поддерживает популярный в Twitter мем: представьте себе огромное лавкрафтианское чудовище (базовая модель), на которое надели улыбающуюся маску (RLHF — обучение с подкреплением на основе отзывов людей). Пока вы не выходите за рамки привычных сценариев, маска держится, но снаружи — «бурлящее безумие», которое не обладает человеческой логикой или эмоциями.
По мнению гостя, называть эти системы «большими языковыми моделями» — ошибка. Это «двигатели общей когниции», которые используют язык лишь как случайный интерфейс для взаимодействия с миром.
🛠 Концепция «когнитивных эмуляций» (co-ems) 29:42
Чтобы избежать экзистенциальных рисков, Лихи предлагает строить не «богоподобные» ИИ, а системы, эмулирующие человеческий способ мышления (co-ems, от cognitive emulations).
- Принципы работы: Это не одна «сверхличность» с IQ 1000, а «компания» из множества ограниченных, предсказуемых подкомпонентов. Каждый из них — это «мыслящий сгусток» без эмоций, желаний или идентичности, действующий как платонический человеческий неокортекс.
- Человеческая эпистемология: Лихи считает, что научный прогресс у людей строится на «клевых упрощениях» — искусственном снижении размерности задач. Если мы заставим ИИ работать через такие же понятные людям «узкие» алгоритмы, мы получим возможность проверять каждый этап их рассуждений.
- Безопасность через ограничение: Цель — сделать пользователя не «сверхчеловеком», а «параллельным процессором», способным управлять тысячей таких «сотрудников», работающих над задачами в рамках человеческих возможностей.
🏁 Гонка к краю пропасти
Коннор Лихи рисует мрачную картину текущей ситуации в индустрии. Он утверждает, что небольшая группа технооптимистов в Лондоне и Кремниевой долине сознательно игнорирует риски, продвигая разработку AGI (искусственного общего интеллекта) с той же скоростью, с какой они создавали свои предыдущие продукты.
- Ложная интерпретация AGI: Когда обычные люди слышат «AGI», они представляют дружелюбного робота-помощника. Когда же главы OpenAI или DeepMind говорят «AGI», они имеют в виду нечеловеческую, самосовершенствующуюся систему, способную свергнуть правительство или уничтожить человечество.
- Необходимость торможения: По мнению гостя, общество должно осознать эту подмену понятий. Он видит небольшую надежду в том, что политики и специалисты по национальной безопасности начинают «паниковать», осознавая реальные масштабы опасности.
Лихи признает, что его план по переходу к безопасным co-ems требует невероятного уровня координации и сотрудничества с правительствами, что, по иронии самого автора, «никогда не работает, если требует выполнения более двух условий». Тем не менее, он настаивает: текущая «смертельная гонка» — это не судьба, а выбор, и до тех пор, пока мы не «перелетели через край», у нас есть шанс замедлиться и выстроить более надежную архитектуру будущего.
