# Кэл Ньюпорт: «Нейросеть — это не разум, а гигантская машина с шестеренками»

Источник: https://www.youtube.com/watch?v=OvlfCW3Ec1g
Канал: Deep Questions with Cal Newport
Опубликовано: 24.06.2024

---

В новом выпуске подкаста Deep Questions ученый и автор Кэл Ньюпорт анализирует природу страха перед «инопланетным разумом» ИИ и объясняет, почему современные нейросети — это не более чем сложные наборы «шестеренок». Он предлагает концепцию «Интенционального ИИ» (II), разбирает архитектуру управления алгоритмами и обсуждает, как ложные метрики продуктивности приводят к курьезным случаям использования «симуляторов движения мыши».

## 🛸 Страх перед «инопланетным разумом»: истоки паники
[[JUMP:0:00]]

Современный дискурс вокруг искусственного интеллекта пронизан опасениями, что в погоне за мощностью человечество случайно создаст нечто более умное, чем ожидалось [0:13]. Кэл Ньюпорт называет это «страхом перед инопланетным разумом» (alien mind fear). Этот концепт подразумевает, что мы обучаем системы, не понимая до конца принципов их работы, и в итоге получаем мощный интеллект, который может «взломать основы цивилизации» [2:39].

В качестве примеров такой риторики Ньюпорт приводит:

*   **Статью Юваля Харари и Тристана Харриса:** Опубликованное в марте 2023 года в New York Times эссе, где авторы сравнивают ИИ с инопланетным разумом, предлагающим дары, но таящим экзистенциальную угрозу [2:00].
*   **Исследование Microsoft Research:** Работа под заголовком «Искры общего искусственного интеллекта» (Sparks of AGI), авторы которой были поражены способностью GPT-4 к рассуждению на ранних этапах тестирования [3:17].

По мнению Кэла Ньюпорта, опасения о том, что GPT-5 или GPT-6 станут неуправляемыми, основаны на рациональной экстраполяции кривой роста возможностей. Однако он считает этот страх необоснованным, если разобраться в технической сути систем [4:36].

## ⚙️ Метафора машины: почему LLM — это не разум
[[JUMP:5:15]]

Кэл Ньюпорт утверждает, что большая языковая модель (LLM) сама по себе никогда не может считаться «разумом» [5:28]. С технической точки зрения это полностью прямоточная (feed-forward) сеть: на вход подается информация, она проходит через слои, и на выходе появляется «токен» — часть слова [6:08].

Автор предлагает использовать аналогию с гигантской механической машиной:

1.  **Сложный контрольный список:** Процесс генерации следующего слова похож на прохождение через миллиарды «чек-боксов» (распознавание паттернов: это партия в шахматы, это обсуждение Рима, это научный стиль) [7:28].
2.  **Свод правил:** Комбинаторные правила решают, какое слово будет грамматически и семантически верным в данном контексте [8:08].
3.  **Механизм без сознания:** Представьте машину размером с городской квартал, полную шестеренок и циферблатов. Вы крутите ручку, шестерни вращаются, и в конце выпадает буква. Как бы велика ни была эта машина, она остается «выплевывателем слов», а не субъектом с намерениями [9:42].

## 🏗️ Четыре слоя контроля: от ChatGPT до AGI
[[JUMP:11:56]]

Ньюпорт подчеркивает, что всё «интересное» происходит не внутри языковой модели, а в слое логики управления, который находится снаружи. Он выделяет четыре иерархических уровня этой логики [12:08]:

*   **Уровень 0 (Авторегрессия):** Базовая логика ChatGPT. Она берет запрос пользователя, получает от модели одно слово, добавляет его к тексту и снова отправляет модели, пока не получится полный ответ [13:12].
*   **Уровень 1 (Трансформация и активация):** Системы вроде Google Gemini или плагины ChatGPT. Здесь логика управления может сначала выполнить поиск в Google, вставить результаты в длинный промпт и только потом отправить его модели. Также на этом уровне происходит «актуация» — например, бронирование авиабилетов через сторонний сервис [15:42].
*   **Уровень 2 (Агенты и планирование):** Сложные системы, способные держать состояние и планировать.
    *   **Cicero от Meta:** ИИ для игры в «Дипломатию», который использует LLM для переговоров, но сам просчитывает стратегии и вероятности лжи в отдельном программном модуле [21:01].
    *   **Devin:** ИИ-программист, который разбивает задачу на шаги, пишет код, тестирует его и исправляет ошибки, используя LLM лишь как инструмент написания конкретных строк [22:35].
*   **Уровень 3 (Гипотетический AGI):** Уровень, на котором мастер-логика управляет множеством моделей (зрение, социальные намерения, текст) для создания симуляции полноценного агента в мире [23:41].

Главный аргумент Ньюпорта: на уровнях 0, 1 и 2 логика управления пишется людьми вручную. Она не является «эмерджентной» или самообучающейся [24:59].

## 🛡️ Концепция «Интенционального ИИ» (II)
[[JUMP:29:51]]

Кэл Ньюпорт вводит термин **Intentional AI (II)** — Интенциональный Искусственный Интеллект. Основная идея заключается в том, что ответственность за действия системы всегда лежит на разработчике логики управления [30:05].

Основные тезисы II:

*   **Программируемые ограничения:** В системе Cicero разработчики просто запретили программе лгать, и она не лгала, хотя LLM технически способна генерировать ложь. Это было легко реализовать, так как логика управления написана вручную [25:37].
*   **Защита от сбоев:** Практические риски (например, если ИИ потратит $20,000 на билет или запустит бесконечный цикл вычислений) — это ошибки программирования контроля, а не проявление «злого умысла» машины [27:40].
*   **Законодательная ответственность:** Ньюпорт считает, что нельзя допускать юридической доктрины, признающей ИИ «непредсказуемым». Разработчик должен быть юридически ответственен за всё, что совершает его система в реальном мире [30:31].

Автор утверждает, что до тех пор, пока мы сами пишем код управления, нам не стоит бояться превращения ChatGPT в HAL 9000. Проблемы начинаются только тогда, когда контроль передается самой модели для самосовершенствования, но к этому сценарию мы даже не приблизились [35:27].

## 📰 Дезинформация и «пустые ниши»
[[JUMP:41:39]]

Отвечая на вопрос о распространении дизинформации с помощью ИИ, Кэл Ньюпорт выражает умеренный оптимизм. По его мнению, для виральности негативной информации нужны два фактора: алгоритм распространения и «липкость» самого контента [42:32].

*   **Большие темы:** В вопросах национальных выборов или пандемий интернет уже перенасыщен плохим контентом, созданным людьми. ИИ лишь добавит «посредственного мусора», который вряд ли вытеснит профессионально сконструированную ложь [44:05].
*   **Нишевые темы:** Здесь ИИ опасен. Если о выборах в конкретном маленьком округе никто не пишет, любой сгенерированный текст может стать «липким» просто из-за отсутствия альтернатив [44:44].

Решением автор видит повышение интернет-грамотности и отказ от слепого доверия к источникам [45:53].

## 📉 Проблема «псевдопродуктивности» и Mouse Jigglers
[[JUMP:1:27:06]]

Ньюпорт прокомментировал новость о массовых увольнениях в Wells Fargo сотрудников, использовавших «симуляторы движения мыши» (mouse jigglers). Эти устройства или программы имитируют активность пользователя, чтобы статус в Slack или Microsoft Teams оставался зеленым [1:28:11].

По мнению Кэла Ньюпорта, это симптом «болезни» современного белых воротничков — **псевдопродуктивности** (pseudo-productivity):

1.  **Прокси-метрика:** Поскольку в когнитивном труде трудно измерить результат («количество виджетов»), менеджеры используют видимую активность как замену полезному труду [1:31:10].
2.  **Цифровой абсурд:** В эпоху смартфонов псевдопродуктивность превратилась в обязанность отвечать на письма в любое время суток. «Зеленый огонек» статуса стал важнее качества выполненной работы [1:32:19].
3.  **Выход:** Переход к «медленной продуктивности» (slow productivity), ориентированной на результат, а не на суету. Нужно оценивать работу по качеству выпускаемого продукта за длительный период, а не по активности мыши в моменте [1:33:37].

## 🕸️ Будущее интернета: распределенное доверие
[[JUMP:1:09:30]]

Обсуждая способы потребления информации, Кэл Ньюпорт призывает вернуться к модели «распределенных сетей доверия» (distributed webs of trust) [1:12:07].

*   **Проблема алгоритмов:** Рекомендательные движки соцсетей создают обратную связь, которая заставляет авторов производить контент, апеллирующий к самым низменным чувствам (амигдале) [1:13:14].
*   **Модель RSS и подкастов:** Ньюпорт восхищается подкастами, потому что они децентрализованы. Вы находите шоу не через алгоритм, а по рекомендации людей, которым доверяете. Потребление происходит через RSS-ридеры, где нет рекламы и отвлекающих факторов [1:10:35].
*   **Рекомендация:** Автор советует использовать сервисы вроде **Send to Kindle**, чтобы читать лонгриды и новости в спокойной обстановке без гиперссылок и уведомлений [1:17:47].

---