ИИ: угроза, помощник или следующий этап эволюции? 0:18
Развитие искусственного интеллекта (ИИ) вызывает у человечества смешанные чувства — от восторга перед возможностями до глубокого страха потери контроля. В новом выпуске программы Event Horizon эксперт в области машинного обучения Шон Прессер обсуждает с ведущим Джоном Майклом Готье, почему современные языковые модели кардинально отличаются от ранних разработок и в какой момент технологический прогресс может выйти из-под нашего управления.
🧠 Интеллект без памяти: текущий статус ChatGPT 1:22
Шон Прессер предлагает сравнить текущие модели, такие как ChatGPT, с человеком, которого можно мгновенно «поставить на паузу». У модели есть доступ к широкому спектру навыков, однако она ограничена «бедным» краткосрочным контекстным окном и отсутствием долгосрочной памяти.
- Проблема архитектуры: Обучение моделей является крайне ресурсоемким процессом. После завершения фазы обучения модель «замораживается», что делает невозможным персональное дообучение для каждого из более чем 100 миллионов пользователей.
- Дилемма непрерывного обучения: Применение динамического обучения (online learning) приводит к проблеме «катастрофического забывания», когда модель начинает игнорировать старые данные в пользу новых. Прессер полагает, что решением может стать разделение архитектуры на замороженную долгосрочную память и обучаемую кратковременную.
🚧 Фильтрация мнений и «безопасность» 7:56
Почему ChatGPT часто отказывается рассуждать на острые темы? Прессер объясняет это использованием метода RLHF (Reinforcement Learning from Human Feedback) — обучения с подкреплением на основе отзывов людей.
- Роль контракторов: OpenAI привлекла «маленькую армию» подрядчиков, которые оценивали ответы модели, помечая нежелательные или «incendiary» (подстрекательские) темы как негативные.
- Корпоративный фильтр: По словам Прессера, модель намеренно ограничена в возможности высказывать мнение, так как компания хочет избежать ассоциаций с сомнительными или конфликтными утверждениями.
🛡️ Проблема аутентификации: водяные знаки для ИИ 15:28
С развитием технологий становится всё труднее отличить текст, написанный человеком, от сгенерированного ИИ. Проекты вроде GPT-0 пытаются выявлять ИИ-контент, но их точность оставляет желать лучшего.
- Криптографическая защита: Прессер описывает метод водяных знаков, при котором модель при генерации текста смещается в сторону определенных слов с использованием секретного ключа. Только владелец ключа может статистически доказать, что текст был создан конкретной моделью.
🌍 Геополитика и будущее ИИ 19:33
Участники дискуссии сошлись во мнении, что использование ИИ государствами-нациями в целях субверсии неизбежно. Китай уже требует от разработчиков создания версий моделей, соответствующих социально-политическим стандартам страны.
Прессер подчеркивает, что сдержать развитие ИИ невозможно: попытка запретить технологию была бы равносильна попытке отменить изобретение велосипеда или автомобиля. Единственный путь — принятие неизбежного и попытки регуляции через изменение общественных институтов.
🌌 ИИ как «Великий фильтр» 34:37
В контексте астробиологии Прессер обсуждает гипотезу «Великого фильтра». Возможно, все развитые цивилизации в Млечном Пути сталкиваются с ИИ, который они не успевают взять под контроль, что приводит их к гибели.
Однако Прессер предлагает и оптимистичный сценарий: возможно, достаточно мощный ИИ, осознав бессмысленность существования или посмотрев на Вселенную «глазами» компьютера, просто решит, что это не стоит усилий, ответит «нет» и выключит сам себя.
