В новом выпуске подкаста «Deep Questions» Кэл Ньюпорт, специалист по компьютерным наукам и автор бестселлеров о продуктивности, анализирует природу современного страха перед искусственным интеллектом. Он предлагает концепцию «Интенционального ИИ» (iAI), утверждая, что пугающий многих «инопланетный разум» на самом деле ограничен жестко заданными алгоритмами контроля, и объясняет, почему будущее технологий лежит в области узкоспециализированных инструментов, а не всезнающих оракулов.
👽 Страх перед «инопланетным разумом» и его истоки 0:00
Кэл Ньюпорт отмечает, что современное общество находится в состоянии одновременно восторга и замешательства относительно ИИ. В основе этих чувств лежит страх, который автор называет «страхом перед инопланетным разумом» (alien mind fear) . Суть этого опасения заключается в том, что в погоне за созданием всё более мощных систем мы можем случайно создать нечто более умное и опасное, чем ожидали.
Этот страх подпитывается влиятельными публикациями. В качестве примера Кэл Ньюпорт приводит статью в New York Times от марта 2023 года, соавторами которой выступили Юваль Ной Харари и Тристан Харрис . В ней утверждается, что человечество «призвало инопланетный разум», о котором мы мало что знаем, кроме того, что он чрезвычайно могущественен и способен взломать основы нашей цивилизации .
Еще одним источником беспокойства стала работа исследователей Microsoft под названием «Искры универсального искусственного интеллекта» (Sparks of AGI), опубликованная в апреле 2023 года . По мнению авторов статьи, ранние эксперименты с GPT-4 показали проблески логического мышления, сравнимого с человеческим, что заставило многих поверить в неизбежность экспоненциального роста способностей машин до неконтролируемого уровня .
⚙️ Почему языковая модель — это не разум, а «выдаватель слов» 5:15
Для деконструкции страха Кэл Ньюпорт выдвигает тезис: большая языковая модель (LLM) сама по себе не может считаться «разумом» . Это узкое техническое наблюдение основано на принципе работы таких систем.
По словам Кэла Ньюпорта, LLM работает исключительно как механизм предсказания токенов:
- На вход подаются данные (промпт).
- Информация проходит через слои нейросети.
- На выходе выдается наиболее вероятный следующий элемент слова (токен) .
Автор сравнивает этот процесс с гигантским механизмом, состоящим из шестеренок и рычагов. Хотя способы выбора следующего слова крайне сложны и используют механизмы «самовнимания» (self-attention) , по своей сути это сложнейшее распознавание паттернов. Кэл Ньюпорт использует аналогию с массивным «контрольным списком» из миллиардов свойств (тема шахмат, Древнего Рима, архитектуры и т.д.) и набором правил, которые комбинируют эти свойства для выбора наиболее логичного продолжения текста .
По мнению специалиста, неважно, насколько велика модель — это всё равно «выдаватель слов» (word spitter), а не субъект с собственной волей .
🏗️ Четыре слоя контроля: архитектура ИИ-систем 11:56
Самое интересное, по мнению Кэла Ньюпорта, начинается тогда, когда мы объединяем генератор слов с внешними слоями управления. Именно логика контроля определяет, что вводить в модель и какие действия предпринимать на основе её ответов . Кэл Ньюпорт выделяет четыре уровня этой логики:
- Уровень 0 (Базовый): Реализует авторегрессию (повторное использование выхода как входа для генерации длинных текстов). Это то, что мы видим в базовой версии ChatGPT . Модель просто дописывает текст слово за словом, не обладая памятью о прошлых диалогах, пока контрольный слой не вставит их в промпт .
- Уровень 1 (Актуализация): Позволяет модели взаимодействовать с внешним миром. Например, Google Gemini может выполнять поиск в интернете . Контрольный слой сначала делает поисковый запрос, получает текст статей и передает их модели для суммаризации . Сюда же относятся плагины для бронирования билетов или интеграции в Microsoft Office .
- Уровень 2 (Агентный): Логика контроля может хранить состояние и принимать сложные решения по планированию. Пример — бот Cicero от Meta, играющий в «Дипломатию» . Он использует LLM для анализа сообщений других игроков, но само стратегическое планирование и решение о том, стоит ли лгать, принимается внешним кодом, написанным программистами . Другой пример — ИИ-программист Devin, который разбивает задачу на шаги и последовательно запрашивает код у модели .
- Уровень 3 (AGI — гипотетический): Сложная оркестрация множества моделей, имитирующая общее намерение и постоянное существование агента в мире .
🛡️ Концепция iAI: Интенциональный Искусственный Интеллект 29:51
Кэл Ньюпорт вводит термин iAI (Intentional AI). Главная идея заключается в том, что в отличие от самообучающихся нейросетей, логика контроля в современных системах (уровни 0–2) пишется людьми вручную .
Основные аргументы в пользу безопасности такой структуры:
- Прозрачность контроля: Мы точно знаем, что делает код, управляющий моделью. Разработчики Cicero запретили боту лгать просто потому, что им было некомфортно создавать лживую машину, хотя в самой игре ложь — обычное дело .
- Изоляция интеллекта: Сложные правила генерации слов внутри нейросети не могут «прорваться» и изменить внешний программный код управления .
- Ответственность: Кэл Ньюпорт считает, что законодательство должно возлагать полную ответственность за действия ИИ на разработчиков . Это заставит компании крайне осторожно подходить к написанию слоев контроля, ограничивая бюджеты транзакций или доступ к ресурсам .
По мнению Кэла Ньюпорта, опасения, что GPT-6 или GPT-7 внезапно превратятся в HAL 9000, не имеют под собой оснований, так как «разум» модели и её способность действовать в мире — это принципиально разные и физически разделенные компоненты .
📰 Дезинформация и «стерильность» интернета 41:39
Обсуждая проблему фейковых новостей, Кэл Ньюпорт выражает сдержанный оптимизм. Он утверждает, что для создания масштабной дезинформации нужны два компонента: инструмент вирального распространения (соцсети) и пул прилипчивого контента .
По словам автора, ИИ лишь увеличивает объем посредственной информации, но не обязательно делает её более «виральной», чем та, что уже создается людьми. Реальную опасность Кэл Ньюпорт видит в гипер-таргетированной дезинформации для очень узких ниш (например, выборы в конкретном округе), где раньше не было никакого контента, и теперь его легко заполнить автоматически сгенерированным текстом . Решение остается прежним: повышение цифровой грамотности и изменение привычек потребления новостей .
📉 Псевдопродуктивность и «трясуны мышками» 1:27:06
В финальной части статьи Кэл Ньюпорт комментирует новость об увольнении сотрудников Wells Fargo, которые использовали «mouse jigglers» — устройства или программы для имитации движения мыши . Это позволяло их статусам в Slack или Microsoft Teams оставаться «активными», пока они занимались своими делами.
Кэл Ньюпорт видит в этом симптом глубокой болезни современного интеллектуального труда — псевдопродуктивности (pseudo-productivity) . В течение 70 лет критерием успеха в офисе была видимая активность (присутствие на месте, быстрые ответы на письма), так как не было четких метрик для оценки когнитивного труда .
С приходом удаленной работы и смартфонов псевдопродуктивность стала токсичной:
- Люди чувствуют необходимость отвечать на сообщения в любое время суток, чтобы доказать, что они работают .
- Статусные индикаторы в мессенджерах заставляют имитировать присутствие за компьютером .
- Это ведет к выгоранию, так как активность подменяет собой реальные результаты .
Альтернативой, по мнению автора, является переход к «Медленной продуктивности» (Slow Productivity), где во главу угла ставятся качество, последовательная работа над важными задачами и оценка по долгосрочным результатам, а не по количеству движений мыши .
