В новом выпуске подкаста Deep Questions ученый и автор Кэл Ньюпорт анализирует природу страха перед «инопланетным разумом» ИИ и объясняет, почему современные нейросети — это не более чем сложные наборы «шестеренок». Он предлагает концепцию «Интенционального ИИ» (II), разбирает архитектуру управления алгоритмами и обсуждает, как ложные метрики продуктивности приводят к курьезным случаям использования «симуляторов движения мыши».
🛸 Страх перед «инопланетным разумом»: истоки паники 0:00
Современный дискурс вокруг искусственного интеллекта пронизан опасениями, что в погоне за мощностью человечество случайно создаст нечто более умное, чем ожидалось . Кэл Ньюпорт называет это «страхом перед инопланетным разумом» (alien mind fear). Этот концепт подразумевает, что мы обучаем системы, не понимая до конца принципов их работы, и в итоге получаем мощный интеллект, который может «взломать основы цивилизации» .
В качестве примеров такой риторики Ньюпорт приводит:
- Статью Юваля Харари и Тристана Харриса: Опубликованное в марте 2023 года в New York Times эссе, где авторы сравнивают ИИ с инопланетным разумом, предлагающим дары, но таящим экзистенциальную угрозу .
- Исследование Microsoft Research: Работа под заголовком «Искры общего искусственного интеллекта» (Sparks of AGI), авторы которой были поражены способностью GPT-4 к рассуждению на ранних этапах тестирования .
По мнению Кэла Ньюпорта, опасения о том, что GPT-5 или GPT-6 станут неуправляемыми, основаны на рациональной экстраполяции кривой роста возможностей. Однако он считает этот страх необоснованным, если разобраться в технической сути систем .
⚙️ Метафора машины: почему LLM — это не разум 5:15
Кэл Ньюпорт утверждает, что большая языковая модель (LLM) сама по себе никогда не может считаться «разумом» . С технической точки зрения это полностью прямоточная (feed-forward) сеть: на вход подается информация, она проходит через слои, и на выходе появляется «токен» — часть слова .
Автор предлагает использовать аналогию с гигантской механической машиной:
- Сложный контрольный список: Процесс генерации следующего слова похож на прохождение через миллиарды «чек-боксов» (распознавание паттернов: это партия в шахматы, это обсуждение Рима, это научный стиль) .
- Свод правил: Комбинаторные правила решают, какое слово будет грамматически и семантически верным в данном контексте .
- Механизм без сознания: Представьте машину размером с городской квартал, полную шестеренок и циферблатов. Вы крутите ручку, шестерни вращаются, и в конце выпадает буква. Как бы велика ни была эта машина, она остается «выплевывателем слов», а не субъектом с намерениями .
🏗️ Четыре слоя контроля: от ChatGPT до AGI 11:56
Ньюпорт подчеркивает, что всё «интересное» происходит не внутри языковой модели, а в слое логики управления, который находится снаружи. Он выделяет четыре иерархических уровня этой логики :
- Уровень 0 (Авторегрессия): Базовая логика ChatGPT. Она берет запрос пользователя, получает от модели одно слово, добавляет его к тексту и снова отправляет модели, пока не получится полный ответ .
- Уровень 1 (Трансформация и активация): Системы вроде Google Gemini или плагины ChatGPT. Здесь логика управления может сначала выполнить поиск в Google, вставить результаты в длинный промпт и только потом отправить его модели. Также на этом уровне происходит «актуация» — например, бронирование авиабилетов через сторонний сервис .
- Уровень 2 (Агенты и планирование): Сложные системы, способные держать состояние и планировать.
- Cicero от Meta: ИИ для игры в «Дипломатию», который использует LLM для переговоров, но сам просчитывает стратегии и вероятности лжи в отдельном программном модуле .
- Devin: ИИ-программист, который разбивает задачу на шаги, пишет код, тестирует его и исправляет ошибки, используя LLM лишь как инструмент написания конкретных строк .
- Уровень 3 (Гипотетический AGI): Уровень, на котором мастер-логика управляет множеством моделей (зрение, социальные намерения, текст) для создания симуляции полноценного агента в мире .
Главный аргумент Ньюпорта: на уровнях 0, 1 и 2 логика управления пишется людьми вручную. Она не является «эмерджентной» или самообучающейся .
🛡️ Концепция «Интенционального ИИ» (II) 29:51
Кэл Ньюпорт вводит термин Intentional AI (II) — Интенциональный Искусственный Интеллект. Основная идея заключается в том, что ответственность за действия системы всегда лежит на разработчике логики управления .
Основные тезисы II:
- Программируемые ограничения: В системе Cicero разработчики просто запретили программе лгать, и она не лгала, хотя LLM технически способна генерировать ложь. Это было легко реализовать, так как логика управления написана вручную .
- Защита от сбоев: Практические риски (например, если ИИ потратит $20,000 на билет или запустит бесконечный цикл вычислений) — это ошибки программирования контроля, а не проявление «злого умысла» машины .
- Законодательная ответственность: Ньюпорт считает, что нельзя допускать юридической доктрины, признающей ИИ «непредсказуемым». Разработчик должен быть юридически ответственен за всё, что совершает его система в реальном мире .
Автор утверждает, что до тех пор, пока мы сами пишем код управления, нам не стоит бояться превращения ChatGPT в HAL 9000. Проблемы начинаются только тогда, когда контроль передается самой модели для самосовершенствования, но к этому сценарию мы даже не приблизились .
📰 Дезинформация и «пустые ниши» 41:39
Отвечая на вопрос о распространении дизинформации с помощью ИИ, Кэл Ньюпорт выражает умеренный оптимизм. По его мнению, для виральности негативной информации нужны два фактора: алгоритм распространения и «липкость» самого контента .
- Большие темы: В вопросах национальных выборов или пандемий интернет уже перенасыщен плохим контентом, созданным людьми. ИИ лишь добавит «посредственного мусора», который вряд ли вытеснит профессионально сконструированную ложь .
- Нишевые темы: Здесь ИИ опасен. Если о выборах в конкретном маленьком округе никто не пишет, любой сгенерированный текст может стать «липким» просто из-за отсутствия альтернатив .
Решением автор видит повышение интернет-грамотности и отказ от слепого доверия к источникам .
📉 Проблема «псевдопродуктивности» и Mouse Jigglers 1:27:06
Ньюпорт прокомментировал новость о массовых увольнениях в Wells Fargo сотрудников, использовавших «симуляторы движения мыши» (mouse jigglers). Эти устройства или программы имитируют активность пользователя, чтобы статус в Slack или Microsoft Teams оставался зеленым .
По мнению Кэла Ньюпорта, это симптом «болезни» современного белых воротничков — псевдопродуктивности (pseudo-productivity):
- Прокси-метрика: Поскольку в когнитивном труде трудно измерить результат («количество виджетов»), менеджеры используют видимую активность как замену полезному труду .
- Цифровой абсурд: В эпоху смартфонов псевдопродуктивность превратилась в обязанность отвечать на письма в любое время суток. «Зеленый огонек» статуса стал важнее качества выполненной работы .
- Выход: Переход к «медленной продуктивности» (slow productivity), ориентированной на результат, а не на суету. Нужно оценивать работу по качеству выпускаемого продукта за длительный период, а не по активности мыши в моменте .
🕸️ Будущее интернета: распределенное доверие 1:09:30
Обсуждая способы потребления информации, Кэл Ньюпорт призывает вернуться к модели «распределенных сетей доверия» (distributed webs of trust) .
- Проблема алгоритмов: Рекомендательные движки соцсетей создают обратную связь, которая заставляет авторов производить контент, апеллирующий к самым низменным чувствам (амигдале) .
- Модель RSS и подкастов: Ньюпорт восхищается подкастами, потому что они децентрализованы. Вы находите шоу не через алгоритм, а по рекомендации людей, которым доверяете. Потребление происходит через RSS-ридеры, где нет рекламы и отвлекающих факторов .
- Рекомендация: Автор советует использовать сервисы вроде Send to Kindle, чтобы читать лонгриды и новости в спокойной обстановке без гиперссылок и уведомлений .
