# Шон Прессер: «Остановить развитие ИИ уже невозможно»

Источник: https://www.youtube.com/watch?v=vYhtYjXNBCU
Канал: Event Horizon
Опубликовано: 16.03.2023

---

## ИИ: угроза, помощник или следующий этап эволюции?
[[JUMP:00:18]]

Развитие искусственного интеллекта (ИИ) вызывает у человечества смешанные чувства — от восторга перед возможностями до глубокого страха потери контроля. В новом выпуске программы Event Horizon эксперт в области машинного обучения Шон Прессер обсуждает с ведущим Джоном Майклом Готье, почему современные языковые модели кардинально отличаются от ранних разработок и в какой момент технологический прогресс может выйти из-под нашего управления.

### 🧠 Интеллект без памяти: текущий статус ChatGPT
[[JUMP:01:22]]

Шон Прессер предлагает сравнить текущие модели, такие как ChatGPT, с человеком, которого можно мгновенно «поставить на паузу». У модели есть доступ к широкому спектру навыков, однако она ограничена «бедным» краткосрочным контекстным окном и отсутствием долгосрочной памяти.

*   **Проблема архитектуры:** Обучение моделей является крайне ресурсоемким процессом. После завершения фазы обучения модель «замораживается», что делает невозможным персональное дообучение для каждого из более чем 100 миллионов пользователей.
*   **Дилемма непрерывного обучения:** Применение динамического обучения (online learning) приводит к проблеме «катастрофического забывания», когда модель начинает игнорировать старые данные в пользу новых. Прессер полагает, что решением может стать разделение архитектуры на замороженную долгосрочную память и обучаемую кратковременную.

### 🚧 Фильтрация мнений и «безопасность»
[[JUMP:07:56]]

Почему ChatGPT часто отказывается рассуждать на острые темы? Прессер объясняет это использованием метода **RLHF (Reinforcement Learning from Human Feedback)** — обучения с подкреплением на основе отзывов людей.

*   **Роль контракторов:** OpenAI привлекла «маленькую армию» подрядчиков, которые оценивали ответы модели, помечая нежелательные или «incendiary» (подстрекательские) темы как негативные.
*   **Корпоративный фильтр:** По словам Прессера, модель намеренно ограничена в возможности высказывать мнение, так как компания хочет избежать ассоциаций с сомнительными или конфликтными утверждениями.

### 🛡️ Проблема аутентификации: водяные знаки для ИИ
[[JUMP:15:28]]

С развитием технологий становится всё труднее отличить текст, написанный человеком, от сгенерированного ИИ. Проекты вроде GPT-0 пытаются выявлять ИИ-контент, но их точность оставляет желать лучшего.

*   **Криптографическая защита:** Прессер описывает метод водяных знаков, при котором модель при генерации текста смещается в сторону определенных слов с использованием секретного ключа. Только владелец ключа может статистически доказать, что текст был создан конкретной моделью.

### 🌍 Геополитика и будущее ИИ
[[JUMP:19:33]]

Участники дискуссии сошлись во мнении, что использование ИИ государствами-нациями в целях субверсии неизбежно. Китай уже требует от разработчиков создания версий моделей, соответствующих социально-политическим стандартам страны.

Прессер подчеркивает, что сдержать развитие ИИ невозможно: попытка запретить технологию была бы равносильна попытке отменить изобретение велосипеда или автомобиля. Единственный путь — принятие неизбежного и попытки регуляции через изменение общественных институтов.

### 🌌 ИИ как «Великий фильтр»
[[JUMP:34:37]]

В контексте астробиологии Прессер обсуждает гипотезу «Великого фильтра». Возможно, все развитые цивилизации в Млечном Пути сталкиваются с ИИ, который они не успевают взять под контроль, что приводит их к гибели.

Однако Прессер предлагает и оптимистичный сценарий: возможно, достаточно мощный ИИ, осознав бессмысленность существования или посмотрев на Вселенную «глазами» компьютера, просто решит, что это не стоит усилий, ответит «нет» и выключит сам себя.