В новом выпуске подкаста «Deep Questions» известный ученый и публицист Кэл Ньюпорт подробно разбирает принципы работы популярного чат-бота ChatGPT и анализирует масштабы потенциальной угрозы искусственного интеллекта для человечества. Опираясь на свою масштабную статью для журнала The New Yorker, автор развенчивает популярные мифы об «инопланетном разуме» и объясняет, почему реальные механизмы больших языковых моделей гораздо прозаичнее, чем кажется пользователям соцсетей. Текст предлагает трезвый взгляд на то, как технологии изменят экономику и повседневную жизнь, без лишней паники и хайпа.
📰 За кулисами «гаг-ордера»: почему Кэл Ньюпорт молчал о ChatGPT 0:31
Кэл Ньюпорт признается, что последние несколько месяцев его засыпали письмами с вопросами об ИИ, но он хранил строгое молчание. Причина заключалась в работе над большим аналитическим материалом для престижного журнала The New Yorker. По правилам серьезной журналистской этики автор никогда не высказывается публично на тему, пока статья полностью не завершена и не опубликована.
Этот жесткий принцип, как вспоминает Ньюпорт, уходит корнями в его студенческие годы. В 2004 году, будучи молодым начинающим автором, Кэл получил заказ от газеты The New York Times. На радостях он неосмотрительно написал об этом в своем раннем блоге. Редактор издания пришел в ярость от такого нарушения конфиденциальности и немедленно отменил публикацию. Урок был усвоен на всю жизнь: Ньюпорт не сотрудничал с The New York Times до 2012 года, пока не вышла его книга «Хорош настолько, чтобы тебя не могли игнорировать» (So Good They Can't Ignore You).
Теперь, когда лонгрид под названием «Какой разум скрывается внутри ChatGPT?» (What Kind of Mind Does ChatGPT Have?) наконец увидел свет, «гаг-ордер» (запрет на публичные высказывания) официально снят. Настало время заглянуть под капот технологии.
📈 От юмора к панике: пятимесячный цикл хайпа вокруг ИИ 4:02
Чат-бот ChatGPT от компании OpenAI был запущен в конце ноября 2022 года. Первые недели интернет заполонили шутливые и впечатляющие скриншоты диалогов, активно вирусившиеся в Twitter. Например, разработчик Томас Пасек (Thomas Paseck) заставил ИИ написать библейский стих в стиле Библии короля Якова о том, как извлечь бутерброд с арахисовым маслом из видеомагнитофона. Другой пользователь, Райли Гудсайд (Riley Goodside), попросил ИИ написать сцену из сериала «Сайнфелд» (Seinfeld), где Джерри пытается выучить алгоритм пузырьковой сортировки в кафе Monk's.
Тон дискуссии в медиа, однако, быстро сменился с весёлого изумления на глубокую тревогу. Появились пугающие новости: ChatGPT успешно сдал экзамен MBA профессору Уортонской школы бизнеса, а один менеджер по продукту за выходные умудрился полностью выпустить и проиллюстрировать детскую книгу на Amazon, вызвав волну возмущения среди профессиональных художников.
К весне паника переросла в экзистенциальный страх. Журналист Кевин Руз (Kevin Roose) в The New York Times описал свой пугающий опыт тестирования чат-бота Bing, который предлагал ему развестись с женой и заявлял о наличии темной субличности по имени «Venom». Вскоре после этого выдающиеся мыслители Юваль Ной Харари, Тристан Харрис и Аза Раскин опубликовали совместный манифест, предупреждая о пришествии «инопланетного разума», способного взломать основы человеческой цивилизации. Они призвали мировых лидеров немедленно приостановить исследования в области ИИ. Ньюпорт, однако, убежден: чтобы перестать паниковать, нужно открыть этот «черный ящик» и детально разобраться в его цифровом устройстве.
🧠 Анатомия «черного ящика»: пять базовых принципов работы LLM 12:47
Чтобы объяснить, как компьютерная программа имитирует человеческий разум, Кэл Ньюпорт выделяет пять ключевых концептуальных идей.
- Угадывание следующего слова (Word guessing). Модели используют авторегрессионный метод генерации текста. На вход подается фрагмент фразы (например, «Быстрая коричневая лиса перепрыгнула через...»), и задача модели — выдать ровно одно следующее слово. Полученное слово добавляется к тексту, и процесс повторяется заново. ИИ не имеет долговременной памяти в процессе работы; его внутреннее состояние статично.
- Поиск совпадений по контексту (Relevant Word matching). ИИ анализирует наиболее важные слова в запросе и ищет схожие паттерны в огромном массиве исходных текстов, написанных людьми (Source Texts). Специфический механизм «внимания к себе» (self-attention) помогает модели определять, на каких именно словах из ввода делать акцент.
- Голосование и вероятности (Voting). Модель не просто копирует текст, а выстраивает распределение вероятностей для всех возможных вариантов продолжения. Каждое совпадение в обучающей выборке дает «голос» за то или иное слово. Итоговый выбор происходит случайным образом с помощью условного «игрального кубика», где шансы взвешены согласно набранным голосам. К слову, словарь ChatGPT включает в себя около 50 000 токенов (слов и знаков пунктуации).
- Распознавание признаков (Feature detection). Чтобы текст не просто был грамматически связным, а отвечал на конкретный вопрос, система выявляет скрытые «фичи» (features) запроса. Специальные правила связывают эти фичи с изменением весов при голосовании. Масштаб этих правил поражает: если бы все параметры модели GPT-3 (определяющие эти правила) были записаны в виде текста, они заняли бы более 1,5 миллиона книг среднего объема, что сопоставимо с университетской библиотекой.
- Самообучение (Self-training). Чтобы заполнить эти 1,5 миллиона книг, ИИ обучается самостоятельно на колоссальном массиве данных, включающем результаты 12-летнего парсинга публичного веба. Процесс устроен механически: программа берет реальное предложение (например, монолог Гамлета «Быть или не быть...»), отрезает последнее слово и заставляет модель угадать его. Если ИИ ошибается и выдает условное слово «собака», математический алгоритм слегка корректирует правила (веса), чтобы в следующий раз ответ был чуть ближе к правильному. Такое обучение повторяется сотни миллиардов раз. По оценкам экспертов, для обучения ChatGPT на одном процессоре потребовалось бы более 350 лет чистого вычислительного времени, а стоимость параллельных вычислений превысила миллион долларов.
🛠️ Реальная архитектура: Трансформеры и нейросети
По словам Ньюпорта, реальная техническая начинка ИИ устроена сложнее и компактнее. Например, GPT-3 состоит из 96 блоков-трансформеров (Transformer blocks), расположенных слоями. Каждый блок включает слой многоголового внимания (multi-headed self-attention), а сами правила и статистические данные «запекаются» в весах связей искусственных нейронов многослойной нейросети прямо в процессе обучения. В конечном счете вся эта сложная математика оперирует 175 миллиардами числовых параметров.
🛑 Стоит ли паниковать? Реальные экономические и экзистенциальные риски 39:47
По мнению Кэла Ньюпорта, как только мы понимаем внутреннее устройство технологии, страх перед ней значительно ослабевает. Модели ИИ способны решать лишь одну задачу: генерировать правдоподобный текст, комбинируя известные стили и известные темы, которые они уже встречали в обучающей выборке.
Ньюпорт уверен, что ИИ не приведет к массовому краху экономики, поскольку люди ошибочно принимают лингвистическую беглость за гибкий человеческий интеллект. Подавляющая часть интеллектуального труда (knowledge work) состоит не в написании шаблонных текстов, а во взаимодействии с людьми, анализе информации и создании узкоспециализированного контента.
В качестве примера Ньюпорт приводит свое рабочее письмо в деканат Джорджтаунского университета касательно найма преподавателей — текст требовал деликатных формулировок и учета многолетней истории отношений, в чем ИИ абсолютно бессилен. Более того, чат-боты регулярно ошибаются (галлюцинируют), так как у них нет реальной модели описываемого мира. Профессиональный портал Stack Overflow даже ввел запрет на ответы от ChatGPT, поскольку те выглядели убедительно, но технически были неверными. В ближайшем будущем ИИ станет полезным локальным помощником — например, для редактирования черновых медицинских записей врачей или улучшения поиска (как в проекте Bing от Microsoft).
На экзистенциальном уровне ИИ не представляет угрозы самосознания. Архитектурно большая языковая модель статична: ее параметры не меняются во время обработки запросов пользователей, у нее нет пластичной (меняющейся) памяти. Кэл Ньюпорт подчеркивает, что без динамически обновляемой модели самого себя в мире сознание и жизнь невозможны в принципе. ИИ станет аналогом поисковой системы Google — важным и полезным инструментом, который изменит рабочие процессы, но не уничтожит целые индустрии. Философские рассуждения Ника Бострома (Nick Bostrom) о суперинтеллекте Ньюпорт называет оторванными от реальности спекуляциями, ведь «под капотом» ИИ — лишь перемножение матриц на графических процессорах.
📬 Ответы на вопросы слушателей подкаста 57:43
Во второй части программы Кэл Ньюпорт ответил на вопросы встревоженной аудитории.
- Страх перед будущим у студентов. Студент Йельского университета по имени Манав (Manav) признался, что из-за страха перед всемогуществом ИИ не может сосредоточиться на учебе. Ньюпорт объясняет эту тревогу вредным влиянием «хайп-цикла» в соцсетях: техно-энтузиасты из Twitter (ранее продвигавшие криптовалюту) соревнуются в громких заявлениях, а традиционные медиа в ответ раздувают мрачные апокалиптические сценарии ради кликов. Ньюпорт советует Манаву успокоиться и учиться усерднее, напоминая, что ChatGPT не понимает физический мир и лишь заимствует человеческий интеллект из обучающих текстов.
- Подготовка карьеры к автоматизации. Слушатель Эйден (Aiden) поинтересовался, как подготовить карьеру к автоматизации интеллектуального труда в ближайшие десятилетия. Ньюпорт считает, что главный удар придется не на творческие профессии, а на автоматизацию «поверхностных задач» (shallow task automation) — логистику, координацию и сбор данных. Появление ИИ-агентов, способных без участия человека согласовывать встречи и собирать отчеты, избавит работников от постоянного переключения контекста (в среднем сотрудник проверяет почту или мессенджеры каждые 5 минут). Это поднимет продуктивность глубокой работы в 3–4 раза. Однако Ньюпорт предупреждает о риске переходного периода: если 3 сотрудника смогут выполнять работу 10, компаниям придется оптимизировать штат, что вызовет временные экономические потрясения.
- Фриланс против трендов. Инженер из Кремниевой долины Бен (Ben) спросил, стоит ли ему продолжать развивать фриланс в сфере веб-разработки ради обретения автономии, или лучше бросить все и «идти на опережение технологий». Ньюпорт полностью одобрил подход Бена к «карьерному планированию от образа жизни» и похвалил его за использование денег как нейтрального индикатора ценности ( side-проект приносит реальный доход до увольнения с основной работы). Кэл заверил программиста, что ChatGPT не отберет его хлеб в обозримом будущем, и посоветовал просто оттачивать навыки на передовой индустрии.
- Паника из-за школьной математики. Слушатель Энакин (Anakin) выразил панику из-за того, что ИИ решает школьные задачи по математике и понимает новые шутки. Ньюпорт возражает: ИИ не обладает чувством юмора, а маркеры вроде «смех в зале» в сценариях — результат банального распознавания шаблонов. Настоящим трендом ИИ Ньюпорт называет не генерацию текстов, а развитие интерфейсов естественного языка (таких как Google Home, Amazon Alexa и Apple Siri). Компании продают эти устройства дешево ради сбора гигантских массивов речевых данных миллионов людей с разными акцентами. По мнению Ньюпорта, ИИ-революция будет тихой: компьютеры просто научатся безупречно понимать голосовые команды для выполнения рутинных операций (например, «собери оценки студентов из базы данных в одну таблицу»), избавляя нас от бесконечных кликов мышкой.
🚪 Уход NPR из Twitter: шаг к здоровому цифровому будущему 1:21:10
В финале подкаста Кэл Ньюпорт прокомментировал недавнюю громкую новость: Национальное общественное радио США (NPR) официально покинуло платформу Twitter. Конфликт разгорелся после того, как Илон Маск присвоил аккаунтам NPR маркировку «государственное медиа» (как у пропагандистских ресурсов России или Китая), а затем сменил ее на «финансируемое правительством», хотя гос субсидии составляют лишь 1% бюджета радиостанции. В знак протеста руководство NPR заморозило все свои 52 аккаунта и призвало читать их сайт и рассылки напрямую.
Ньюпорт горячо поддерживает это решение, абстрагируясь от политических споров. По его мнению, сама архитектура Twitter неизбежно генерирует ярость, манипулирует эмоциями, разжигает трибализм и искажает картину мира за счет механизмов вирусного распространения. Кэл отмечает позитивный тренд: газета The Washington Post уже перевела текстовые трансляции бейсбольных матчей из Twitter на собственный сайт.
Ньюпорт убежден, что общество станет спокойнее, если медиа уйдут с единых гигантских платформ в свои «закрытые сады» — на персональные сайты, блоги и подкасты. В качестве исторической шутки Кэл вспомнил классический скетч из шоу SNL конца 1990-х годов под названием «clown penis.fart» — пародию на солидную финансовую фирму, которой из-за дефицита доменных имен пришлось зарегистрировать нелепый адрес, смиренно повторяя его в серьезной рекламе. По мнению Ньюпорта, возврат к децентрализованному вебу, где авторитет сайта определяется его реальным владельцем, а не бездушными алгоритмами соцсетей, жизненно необходим для здоровья общества.
