# Кэл Ньюпорт: «Почему мы зря боимся „инопланетного разума” ChatGPT»

Источник: https://www.youtube.com/watch?v=OvlfCW3Ec1g
Канал: Deep Questions with Cal Newport
Опубликовано: 24.06.2024

---

В новом выпуске подкаста «Deep Questions» Кэл Ньюпорт, специалист по компьютерным наукам и автор бестселлеров о продуктивности, анализирует природу современного страха перед искусственным интеллектом. Он предлагает концепцию «Интенционального ИИ» (iAI), утверждая, что пугающий многих «инопланетный разум» на самом деле ограничен жестко заданными алгоритмами контроля, и объясняет, почему будущее технологий лежит в области узкоспециализированных инструментов, а не всезнающих оракулов.

## 👽 Страх перед «инопланетным разумом» и его истоки
[[JUMP:0:00]]

Кэл Ньюпорт отмечает, что современное общество находится в состоянии одновременно восторга и замешательства относительно ИИ. В основе этих чувств лежит страх, который автор называет «страхом перед инопланетным разумом» (alien mind fear) [1:05]. Суть этого опасения заключается в том, что в погоне за созданием всё более мощных систем мы можем случайно создать нечто более умное и опасное, чем ожидали.

Этот страх подпитывается влиятельными публикациями. В качестве примера Кэл Ньюпорт приводит статью в New York Times от марта 2023 года, соавторами которой выступили Юваль Ной Харари и Тристан Харрис [2:00]. В ней утверждается, что человечество «призвало инопланетный разум», о котором мы мало что знаем, кроме того, что он чрезвычайно могущественен и способен взломать основы нашей цивилизации [2:39].

Еще одним источником беспокойства стала работа исследователей Microsoft под названием «Искры универсального искусственного интеллекта» (Sparks of AGI), опубликованная в апреле 2023 года [3:17]. По мнению авторов статьи, ранние эксперименты с GPT-4 показали проблески логического мышления, сравнимого с человеческим, что заставило многих поверить в неизбежность экспоненциального роста способностей машин до неконтролируемого уровня [4:11].

## ⚙️ Почему языковая модель — это не разум, а «выдаватель слов»
[[JUMP:5:15]]

Для деконструкции страха Кэл Ньюпорт выдвигает тезис: большая языковая модель (LLM) сама по себе не может считаться «разумом» [5:28]. Это узкое техническое наблюдение основано на принципе работы таких систем.

По словам Кэла Ньюпорта, LLM работает исключительно как механизм предсказания токенов:

*   На вход подаются данные (промпт).
*   Информация проходит через слои нейросети.
*   На выходе выдается наиболее вероятный следующий элемент слова (токен) [6:08].

Автор сравнивает этот процесс с гигантским механизмом, состоящим из шестеренок и рычагов. Хотя способы выбора следующего слова крайне сложны и используют механизмы «самовнимания» (self-attention) [7:02], по своей сути это сложнейшее распознавание паттернов. Кэл Ньюпорт использует аналогию с массивным «контрольным списком» из миллиардов свойств (тема шахмат, Древнего Рима, архитектуры и т.д.) и набором правил, которые комбинируют эти свойства для выбора наиболее логичного продолжения текста [8:47].

По мнению специалиста, неважно, насколько велика модель — это всё равно «выдаватель слов» (word spitter), а не субъект с собственной волей [10:08].

## 🏗️ Четыре слоя контроля: архитектура ИИ-систем
[[JUMP:11:56]]

Самое интересное, по мнению Кэла Ньюпорта, начинается тогда, когда мы объединяем генератор слов с внешними слоями управления. Именно логика контроля определяет, что вводить в модель и какие действия предпринимать на основе её ответов [11:17]. Кэл Ньюпорт выделяет четыре уровня этой логики:

1.  **Уровень 0 (Базовый):** Реализует авторегрессию (повторное использование выхода как входа для генерации длинных текстов). Это то, что мы видим в базовой версии ChatGPT [12:47]. Модель просто дописывает текст слово за словом, не обладая памятью о прошлых диалогах, пока контрольный слой не вставит их в промпт [14:20].
2.  **Уровень 1 (Актуализация):** Позволяет модели взаимодействовать с внешним миром. Например, Google Gemini может выполнять поиск в интернете [16:10]. Контрольный слой сначала делает поисковый запрос, получает текст статей и передает их модели для суммаризации [17:03]. Сюда же относятся плагины для бронирования билетов или интеграции в Microsoft Office [18:09].
3.  **Уровень 2 (Агентный):** Логика контроля может хранить состояние и принимать сложные решения по планированию. Пример — бот Cicero от Meta, играющий в «Дипломатию» [20:48]. Он использует LLM для анализа сообщений других игроков, но само стратегическое планирование и решение о том, стоит ли лгать, принимается внешним кодом, написанным программистами [21:53]. Другой пример — ИИ-программист Devin, который разбивает задачу на шаги и последовательно запрашивает код у модели [22:35].
4.  **Уровень 3 (AGI — гипотетический):** Сложная оркестрация множества моделей, имитирующая общее намерение и постоянное существование агента в мире [24:33].

## 🛡️ Концепция iAI: Интенциональный Искусственный Интеллект
[[JUMP:29:51]]

Кэл Ньюпорт вводит термин **iAI (Intentional AI)**. Главная идея заключается в том, что в отличие от самообучающихся нейросетей, логика контроля в современных системах (уровни 0–2) пишется людьми вручную [24:59].

Основные аргументы в пользу безопасности такой структуры:

*   **Прозрачность контроля:** Мы точно знаем, что делает код, управляющий моделью. Разработчики Cicero запретили боту лгать просто потому, что им было некомфортно создавать лживую машину, хотя в самой игре ложь — обычное дело [25:37].
*   **Изоляция интеллекта:** Сложные правила генерации слов внутри нейросети не могут «прорваться» и изменить внешний программный код управления [26:17].
*   **Ответственность:** Кэл Ньюпорт считает, что законодательство должно возлагать полную ответственность за действия ИИ на разработчиков [30:31]. Это заставит компании крайне осторожно подходить к написанию слоев контроля, ограничивая бюджеты транзакций или доступ к ресурсам [32:02].

По мнению Кэла Ньюпорта, опасения, что GPT-6 или GPT-7 внезапно превратятся в HAL 9000, не имеют под собой оснований, так как «разум» модели и её способность действовать в мире — это принципиально разные и физически разделенные компоненты [32:28].

## 📰 Дезинформация и «стерильность» интернета
[[JUMP:41:39]]

Обсуждая проблему фейковых новостей, Кэл Ньюпорт выражает сдержанный оптимизм. Он утверждает, что для создания масштабной дезинформации нужны два компонента: инструмент вирального распространения (соцсети) и пул прилипчивого контента [42:19].

По словам автора, ИИ лишь увеличивает объем посредственной информации, но не обязательно делает её более «виральной», чем та, что уже создается людьми. Реальную опасность Кэл Ньюпорт видит в **гипер-таргетированной дезинформации** для очень узких ниш (например, выборы в конкретном округе), где раньше не было никакого контента, и теперь его легко заполнить автоматически сгенерированным текстом [45:25]. Решение остается прежним: повышение цифровой грамотности и изменение привычек потребления новостей [45:53].

## 📉 Псевдопродуктивность и «трясуны мышками»
[[JUMP:1:27:06]]

В финальной части статьи Кэл Ньюпорт комментирует новость об увольнении сотрудников Wells Fargo, которые использовали «mouse jigglers» — устройства или программы для имитации движения мыши [1:27:33]. Это позволяло их статусам в Slack или Microsoft Teams оставаться «активными», пока они занимались своими делами.

Кэл Ньюпорт видит в этом симптом глубокой болезни современного интеллектуального труда — **псевдопродуктивности** (pseudo-productivity) [1:30:57]. В течение 70 лет критерием успеха в офисе была видимая активность (присутствие на месте, быстрые ответы на письма), так как не было четких метрик для оценки когнитивного труда [1:31:10].

С приходом удаленной работы и смартфонов псевдопродуктивность стала токсичной:

*   Люди чувствуют необходимость отвечать на сообщения в любое время суток, чтобы доказать, что они работают [1:32:31].
*   Статусные индикаторы в мессенджерах заставляют имитировать присутствие за компьютером [1:28:23].
*   Это ведет к выгоранию, так как активность подменяет собой реальные результаты [1:33:50].

Альтернативой, по мнению автора, является переход к «Медленной продуктивности» (Slow Productivity), где во главу угла ставятся качество, последовательная работа над важными задачами и оценка по долгосрочным результатам, а не по количеству движений мыши [1:33:37].