Конец эпохи трансформеров: квантовый путь к пониманию языка

Современные большие языковые модели — это лишь изощренные статистические интерполяторы, напоминающие модель Птолемея: они точно предсказывают результат, не осознавая физической реальности за ним. Боб Кук предлагает радикально иной подход, объединяющий квантовую механику и лингвистику, чтобы заменить «бюрократическую» грамматику Хомского чистой структурой взаимодействия смыслов. Вместо слепого наращивания параметров мы стоим на пороге перехода к ИИ, обладающему пространственной осведомленностью и способностью понимать, а не просто имитировать язык.

🧠 Символы, векторы и квантовая запутанность языка 0:02

Великое противостояние: Символизм против коннекционизма 0:02

Десятилетиями в сфере искусственного интеллекта продолжается негласное перетягивание каната между двумя фундаментальными парадигмами: символизмом и коннекционизмом. Этот спор можно охарактеризовать как историческое противостояние дискретного и непрерывного или, если использовать терминологию когнитивных наук, систем Типа 1 и Типа 2.

Символический подход рассматривает последовательную синтаксическую трансформацию дискретных символов как единственно верную модель познания. В рамках обработки естественного языка (NLP) символисты традиционно моделируют лексическую семантику через жесткие онтологии и семантические сети, создаваемые вручную экспертами.
Коннекционистский подход, напротив, опирается на параллельную и распределенную обработку информации в виде векторов и тензоров. Главным воплощением этой идеи стали искусственные нейронные сети.

Начиная с 1980-х годов, когда коннекционизм начал стремительно набирать популярность, такие исследователи, как Смоленский, Румельхарт и Макклелланд, попытались сформулировать альтернативную субсимволическую парадигму. Сегодня научное сообщество ищет способы создания гибридных моделей, чтобы избавить ИИ от хрупкости чисто символьных вычислений. Большинство доминирующих архитектур, включая трансформеры и графовые нейросети, строятся ближе к коннекционизму, пытаясь интегрировать символьный интерфейс внутрь векторных моделей. Однако существуют и радикально иные концепции, предлагающие сделать дискретную модель внутренним циклом, а нейросеть — внешней структурой.

Квантовое моделирование языка: Рождение новой парадигмы 2:43

Настоящий прорыв в поиске единой теории когниции происходит на стыке лингвистики и квантовой физики, где смысл и грамматика полностью объединяются в рамках категориальной квантовой механики. У истоков этого направления стоит Боб Кук (Bob Coecke) — выдающийся физик, девятнадцать лет проработавший профессором в Оксфордском университете, автор фундаментальных трудов с более чем 7000 цитирований.

В конце 1990-х годов произошла случайная встреча Боба Кука с профессором Иоахимом Ламбеком. Вскоре Кук продемонстрировал свой категориальный диаграммный квантовый формализм для описания квантовой телепортации, и Ламбек мгновенно осознал, что эти математические структуры полностью совпадают с грамматиками предгрупп, которые он использовал для анализа языка. Грамматика предгрупп представляет собой лексикон слов и набор типов, взаимодействие которых напоминает конструктор Lego. Например, глагол строго требует подключения к определенным типам существительных слева и справа.

Этот синтез лег в основу концепции, которую Боб Кук называет «антидекартовой целостностью» (anti-Cartesian togetherness). Это фундаментальный сдвиг от классического редукционизма к холизму взаимодействия. Значение предложения невозможно механически разобрать на изолированные составляющие; его необходимо оценивать исключительно как единое целое. В этой модели взаимодействие слов поразительно точно отражает поведение запутавшихся квантовых частиц, которые нарушают принцип независимости и коллапсируют только вместе, а не по отдельности.

Математика взаимодействия и преодоление логики Монтегю 5:32

Вдохновившись субсимволическим подходом, Боб Кук и его коллеги стремились преодолеть ограничения классического NLP. Раньше в лингвистике доминировали идеи Ноама Хомского, опиравшиеся на пропозициональную дедуктивную логику, которая исторически плохо совместима с векторными пространствами. Новая квантовая модель позволяет представить высказывание как структурированный объект, проецируя его в compositional-векторное пространство через тензорное произведение.

В такой системе типы сами становятся векторами. Тензорное произведение суперпозирует их, позволяя им интерферировать конструктивно или деструктивно. По мере того как слова объединяются в тексте, истинная интерпретация усиливается, а побочные смыслы затухают.

Этот подход представляет собой непрерывное обобщение традиционной семантики в стиле Ричарда Монтегю. Если у Монтегю логика строго булева (высказывание либо истинно, либо ложно), то модель Кука позволяет оперировать степенями и вероятностями значения. Это открывает совершенно новые горизонты для индустрии: недавно Боб Кук занял пост главного научного сотрудника в компании Cambridge Quantum Computing, чтобы перенести эти теоретические наработки на реальное квантовое оборудование.

Ранее в разговоре авторы подкаста кратко упомянули изобретенное Бобом графическое ZX-исчисление, предназначенное для визуализации квантовых процессов и запутанности, однако детальный разбор этого инструмента останется для следующей главы. Также вскользь Боб выразил разочарование современной академической средой из-за засилья управленческих структур, превращающих университеты в коммерческие бренды, что и побудило его уйти в бизнес.

🧬 ZX-исчисление: визуальная логика квантового мира 26:38

Фундаментальный вклад Боба Кука в науку заключается в создании ZX-исчисления — графического формализма, который радикально меняет подход к пониманию квантовых процессов. Как отмечает сам Боб Кук, это не просто абстрактная математика, а интуитивно понятный язык визуализации. В условиях, когда квантовые цепи становятся всё сложнее, этот подход позволяет «увидеть» происходящее, не прибегая к тяжеловесным алгебраическим вычислениям.

Суть метода заключается в представлении квантовых операций в виде потоков и взаимодействий, где сложные процессы раскладываются на элементарные графические блоки. Такой подход делает квантовую механику доступной для широкого круга исследователей, трансформируя «магию» квантовой запутанности в прозрачные логические схемы. Эта визуальная ясность стала основой для дальнейших разработок Кука, включая попытки переложить лингвистические структуры на язык квантовых цепей.

🏛 Кризис академической среды: от «башни из слоновой кости» к бюрократии 25:19

Боб Кук описывает драматическую трансформацию, которую переживает современная наука, особенно в Великобритании. По его словам, два десятилетия назад университеты, такие как Оксфорд, напоминали «академический рай», где ценилась интеллектуальная свобода и глубокие идеи. Сегодня же ситуация кардинально иная: университеты поглощаются раздутым менеджментом, а целые факультеты математики и компьютерных наук закрываются в угоду сиюминутным трендам, таким как «хайповое» машинное обучение.

Кук проводит параллель с кризисом в теоретической физике 90-х годов, указывая на опасность «интеллектуальной монокультуры». Ключевые проблемы, которые он выделяет:

Грантовая система: Финансирование превратилось в изматывающую игру, где успех измеряется лишь количеством публикаций, а не качеством или долгосрочной значимостью работы.
Искажение приоритетов: Менеджеры и чиновники, далёкие от науки, начали диктовать повестку, подменяя научную ценность метриками и «индексами цитируемости».
Психологическое давление: Постоянная борьба за гранты приводит к выгоранию, стрессу и разрушению личной жизни ученых, создавая условия, в которых невозможно заниматься фундаментальными, «медленными» исследованиями.

Кук убеждён: классическая модель академической среды, которую мы знали, безвозвратно уходит в прошлое. Будущее «большой науки», вероятно, лежит в частных исследовательских институтах, где можно укрыться от административного давления и бюрократии, убивающих подлинное творчество.

⚡️ Машинное обучение как электричество: инструмент, а не замена 32:58

Несмотря на критику текущего положения дел, Боб Кук не является противником машинного обучения (ML). Напротив, он сравнивает влияние этой технологии на современность с появлением электричества во времена Эдисона. Электричество не уничтожило другие дисциплины — оно дало им «свет», позволив работать в темноте и расширить границы возможного.

По мнению Кука, нынешний ажиотаж вокруг ML — это «момент Эдисона». Идеи нейронных сетей существовали десятилетиями, но именно сейчас технологии созрели до такой степени, что стали трансформационными для всего общества. Однако он предостерегает от слепого поклонения:

Риск «монополизации» науки: Идея о том, что машинное обучение «сметёт» все остальные дисциплины, — такая же опасная глупость, как и амбиции физиков-теоретиков в прошлом столетии.
Правильное использование: ML — это невероятно мощный инструмент, который должен обогащать другие области, помогая в обработке данных и выявлении закономерностей, а не поглощать их суть.

Ранее в разговоре они касались различий между символьными методами и статистическими подходами, но Кук подчеркивает: в долгосрочной перспективе именно синергия между различными методами анализа языка и визуализацией процессов будет определять успех научных открытий.

🧩 Векторный тупик и грамматика как физика взаимодействия 50:09

Узкие места векторизации: между статистикой и пониманием 50:22

Современные модели глубокого обучения полагаются на векторные представления (embeddings), где слова и смыслы упаковываются в точки многомерного пространства. Однако Боб Кук подчеркивает, что чистая векторизация сталкивается с фундаментальной проблемой при попытке выйти за рамки простого сопоставления паттернов. В традиционном подходе Монтегю или классических нейросетях сложно удерживать структуру при переходе к векторам: многие смысловые связи размываются, а «мусорные» биты информации накапливаются в нижних слоях анализа, ожидая разрешения неоднозначности гораздо позже по тексту .

Боб Кук предлагает альтернативу, уходящую корнями в квантовую механику и работы Джона фон Неймана. Речь идет о переходе от простых векторов к матрицам плотности (density matrices). В физике они используются, когда мы не знаем точно, с каким квантовым состоянием имеем дело; в лингвистике же они становятся идеальным инструментом для кодирования лексической и синтаксической неопределенности .

Основные недостатки чисто статистических векторных моделей, по мнению Кука:

Неспособность к экстраполяции: Модели хорошо воспроизводят статистические закономерности, но не «понимают» лежащую в их основе структуру.
Проблема разрешения неоднозначности: Векторы плохо справляются с ситуациями, где слово (например, «bank» или «queen») может иметь несколько значений, зависящих от контекста, который появится лишь через десять строк .
Игнорирование структуры реальности: Статистика заменяет собой понимание физических и логических связей между объектами.

Боб Кук проводит историческую аналогию: современные LLM похожи на астрономическую модель Птолемея . Система Птолемея была чисто статистической и давала очень точные предсказания для навигации моряков, даже более точные, чем ранние модели Коперника или Кеплера . Но Птолемей не понимал физики движения планет. Точно так же современные нейросети «осведомлены» о грамматике и теории относительности лишь постольку, поскольку они воспроизводят статистические корреляции в данных, не имея ни малейшего представления о реальных механизмах . Ранее в разговоре собеседники упоминали, что машинное обучение — это мощный инструмент, но оно не заменяет структурного анализа.

Грамматика как поток смыслов и избавление от «бюрократии» 53:45

Переосмысление грамматики — центральная тема исследований Боба Кука. Он утверждает, что традиционная лингвистика (от Хомского до Монтегю) слишком зациклена на «бюрократической» стороне языка: правилах построения деревьев разбора и синтаксических ограничениях, которые специфичны для конкретных языков . Кук предлагает отбросить эту избыточную нагрузку и взглянуть на грамматику как на фундаментальную структуру взаимодействия в мире.

В его представлении грамматика — это двумерный процесс, где смыслы «перетекают» друг в друга. Это не просто набор правил, а логика того, как вещи стыкуются в реальности . Например, процесс охоты, включающий хищника и добычу, имеет внутреннюю логическую структуру, которая первична по отношению к языку . Язык лишь адаптировался под эту структуру реальности в ходе эволюции. Боб Кук иронично замечает, что наши предки кричали друг другу не ради соблюдения правил синтаксиса, а чтобы успешно завалить мамонта: коммуникация была вопросом выживания в физическом пространстве .

Этот подход приводит к нескольким радикальным выводам:

Грамматика универсальна: Она отражает взаимодействие объектов в пространстве, а не только лингвистические конструкции.
Синтаксис и семантика неразделимы: В модели Кука разделение на структуру предложения и его значение исчезает . Сама структура взаимодействия и есть часть значения.
Экономичность: Отказ от «бюрократического» синтаксиса позволяет создавать гораздо более компактные и эффективные модели, чем огромные нейросети, которые вынуждены «зазубривать» правила из данных .

Кук называет свою теорию «самым значимым событием в грамматике со времен Монтегю» . Его формализм позволяет визуализировать сложные лингвистические сети в виде схем, где взаимодействие слов уподобляется квантовым процессам. Это превращает лингвистику из раздела гуманитарных наук в своего рода «физику смысла», где понимание структуры позволяет делать логические выводы, недоступные чисто статистическим методам . Как будет показано далее, эта осознанность структуры критически важна для решения проблем контекста и воплощенного интеллекта.

🧠 В поисках невысказанного смысла: контекст, пространство и воплощенный интеллект 1:15:31

Восстановление «отсутствующего текста»: почему статистические модели слепы к истинному смыслу 1:15:31

Понимание естественного языка (NLU) глубоко укоренено в способности считывать то, что осталось между строк. Боб Кук (Bob Coecke) утверждает, что для подлинного понимания нам необходимо проникнуть внутрь значений слов и изучить их внутреннюю структуру («internal wirings»). Современные статистические модели работают преимущественно с поверхностными данными, из-за чего они упускают проблему «отсутствующего текста» (missing text) — того скрытого пласта смыслов, который человек восстанавливает интуитивно.

В классическом компьютерном анализе текста сущности часто воспринимаются изолированно. Например, векторы условных Алисы и Боба обрабатываются сами по себе, будто они прибыли с разных планет. На самом же деле между ними всегда существует предыстория, создающая взаимные корреляции. Попытка закодировать все подобные взаимосвязи в традиционных вероятностных моделях неизбежно приводит к экспоненциальному взрыву сложности, из-за чего классический ИИ пасует перед этой задачей. Ранее в разговоре собеседники подробно разбирали недостатки векторизации языка, однако здесь Боб Кук предлагает радикальную альтернативу: полностью уйти от концепции статических значений и перейти к динамическим, холистическим структурам.

Опираясь на идеи Людвига Витгенштейна, Кук напоминает, что значение слова во многом определяется его контекстом. В квантово-лингвистическом подходе слова обучаются непосредственно внутри широкого контекста всей поступающей информации. Это позволяет значительно упростить сложность сети, связывающей понятия. Прекрасным примером преодоления структурной сложности служит исследование коллеги Боба Кука, Вернош Шадзаде. Она проанализировала, как устроена коммуникация слов на больших расстояниях внутри одного предложения в разных языках:

В английском языке слова упорядочены крайне эффективно, синтаксически находясь близко друг к другу.
В персидском языке слово в начале огромного предложения может напрямую информировать слово, стоящее в самом конце.

В рамках лингвистических контуров (circuits), разрабатываемых командой Кука, эти физические расстояния полностью исчезают. Отношения между словами переносятся на плоскость, что делает процесс передачи смысла беспрецедентно эффективным и устраняет необходимость в сложных синтаксических «скачках».

Воплощенный интеллект и геометрия пространства: почему ИИ нужен физический контекст 1:17:26

Другим фундаментальным изъяном чисто символических систем является отсутствие пространственного опыта. Боб Кук обращает внимание на то, что большинство предлогов — таких как «рядом», «над», «в» — имеют выраженную пространственную коннотацию. Соответственно, если искусственный интеллект должен строить логические выводы, включающие предлоги, ему жизненно необходима пространственная осведомленность («spatial awareness»). Смысл и синтаксис здесь оказываются неразрывно переплетены.

Сам Боб Кук признается в глубоко личном подходе к науке: из-за врожденных особенностей восприятия он всегда ненавидел читать печатный текст на бумаге и привык мыслить исключительно геометрически. Ранее в разговоре они детально касались ZX-исчисления и визуализации квантовых процессов, но в данном контексте геометрический подход Кука перерастает в концепцию воплощенного интеллекта («embodied intelligence»).

Кук критикует классический формализм, который концентрировался на наблюдении за изолированной системой. Вместо этого исследователь развивает холистическую идею Эрвина Шрёдингера из 1930-х годов о том, что главным фактором является взаимодействие систем. Профессор приводит наглядную аналогию с аудиотехникой: если поставить работающий микрофон прямо перед динамиком, возникает совершенно новый эмерджентный феномен — акустическая обратная связь. Этот цикл не принадлежит ни микрофону, ни динамику в отдельности — он рождается исключительно из их динамического взаимодействия. Точно так же устроен и интеллект: сложные динамические системы возникают как функция взаимодействия с физическим пространством.

Математическим фундаментом для описания таких взаимодействий стала теория категорий. В этой геометрии соединение систем превращается в параллельные линии, между которыми в мире максимального взаимодействия образуются чашеобразные связи («cup shapes»). Удивительно, но в классическом грамматическом исчислении Ламбека используются точно такие же структуры. Это доказывает, что слова в предложении не автономны, а находятся в состоянии максимальной коммуникации.

Сегодня эти теоретические выкладки команда Кука успешно переносит на практику. Они создали рабочий инструмент, преобразующий любое набранное предложение в квантовую схему. В ходе недавних экспериментов ученые обучили подобные схемы на базах из 100–250 сложных предложений и получили точные ответы на вопросы. И хотя детальный разбор текущего состояния квантового оборудования запланирован на шестую главу, Боб Кук подчеркивает: эксперименты Google с 53 кубитами уже доказали, что квантовые машины способны удерживать объемы репрезентативного пространства, абсолютно недоступные для классических суперкомпьютеров.

5. Сила живого диалога, феномен хайпа и стартап на трансформерах 1:40:41

Побочные эффекты хайпа: от термоядерного синтеза до квантовых пророчеств 1:40:41

Обсуждение технологического будущего неизбежно упирается в проблему завышенных ожиданий. Скептики в индустрии всё чаще сходятся во мнении, что практических прорывов в квантовых вычислениях не стоит ждать в ближайшие десять лет. Однако Боб Кук (Bob Coecke) выражает искреннее удивление тем, как далеко всё зашло уже сейчас. По его оценкам, конкретно в сфере обработки естественного языка (NLP) нечто значимое и превосходящее классические машины можно создать уже через два-три года, хотя это и будет скорее демонстрацией концепции (proof of concept), а не готовым коммерческим продуктом.

Говоря о трудностях прогнозирования в инженерии, Боб Кук приводит классический пример с термоядерным синтезом: каждому студенту-физику со времён Второй мировой войны на лекциях твердят, что чистые и работающие реакторы появятся через 5–10 лет, но их нет до сих пор. Ситуация с квантовыми компьютерами усложняется наличием принципиально разных конкурирующих архитектур — от сверхпроводников до ионных ловушек. (Подробный разбор текущего состояния квантового оборудования авторы оставили для финальной главы статьи).

При этом Боб Кук отмечает психологический эффект «самоисполняющегося пророчества»: колоссальные финансовые вливания и давление хайпа вынуждают учёных мобилизовать усилия и выдавать результаты быстрее. Историческим аналогом такой концентрации ресурсов он называет Манхэттенский проект, во время которого исследователи работали настолько интенсивно, что даже авторы теории категорий умудрялись развивать свою дисциплину по вечерам после основных задач. Примечательно, что большая часть квантовых разработок сегодня разворачивается за пределами университетов — Боб Кук замечает, что лучшие специалисты уходят из академической среды ради более высоких зарплат, комфортных условий и гибкого коммерческого финансирования, что вскользь перекликается с затронутой ранее темой системного кризиса в науке.

Криптовалютный тайм-аут и неожиданный питч стартапа 1:50:39

После завершения основной дискуссии с профессором ведущие переключились на более приземлённые, но не менее спекулятивные темы. Разговор зашёл о резком взлёте крипторынка, в частности о росте биткоина выше отметки в 50 000 долларов и масштабных обновлениях сети Ethereum. Соведущий Янник Килчер отметил, что технологии блокчейна концептуально ортогональны машинному обучению: они абсолютно бинарны — криптографический ключ либо подходит, либо нет, здесь нет пространства для «близости» или вероятностных непрерывных оценок, привычных для нейросетей. Ведущие также отшутились по поводу гипотетической угрозы квантовых компьютеров для криптографии, признав, что с появлением реального квантового железа блокчейны просто безболезненно перейдут на постквантовые алгоритмы хэширования.

Внезапным и весёлым поворотом беседы стало признание Янника в том, что он запустил собственный стартап. Коллеги тут же устроили ему импровизированный 30-секундный «питч в лифте» под угрозой бана в подкасте за использование корпоративного сленга. Янник рассказал, что его проект относится к сфере LegalTech (юридические технологии) и, разумеется, построен на базе архитектуры трансформеров. Продукт успешно решает задачи информационного поиска (Information Retrieval) на швейцарском и немецкоязычном рынках. На шутливый вопрос коллег, решает ли этот ИИ проблему «отсутствующего текста» (missing text), которой была подробно посвящена предыдущая глава, Янник с улыбкой ответил утвердительно.

Дебриф ведущих: сила живого диалога против засилья трансформеров 1:55:27

В финальной части эпизода авторы подкаста подвели итоги встречи, отдельно подчеркнув ценность прямого человеческого общения. До интервью Боб Кук казался им жёстким редукционистом, продвигающим свою квантово-механическую формулировку NLP как некую универсальную «серебряную пулю». Однако личное взаимодействие полностью разрушило этот стереотип: Боб оказался прагматичным, открытым к критике и очень приземлённым учёным. Интерактивный диалог позволяет передать тончайшие нюансы и контекст, которые напрочь теряются в агрессивных текстовых баталиях на интернет-форумах или в Discord-каналах.

Ведущие признались, что беседа вывела их из зоны комфорта, поскольку они не являются экспертами в квантовой физике. Боб Кук восхитил их как глубоко визуальный мыслитель, который умудрился написать понятный учебник по квантовым рассуждениям даже для старшеклассников.

Особую ценность авторы видят в возможности подсветить альтернативные пути развития науки. Сегодняшний ландшафт NLP тотально доминирован и стандартизирован одной парадигмой:

Бесноватые однотипные дискуссии о трансформерах и LLM.
Повсеместное упование на гигантские датасеты и масштабирование моделей уровня GPT-3.
Редкие и предсказуемые вкрапления графовых нейросетей или архитектур LSTM.

На этом монотонном фоне проекты Боба Кука или упомянутого ранее в подкасте Валида Сабы (Walid Saba) выглядят невероятно освежающе. Эти исследователи не пытаются слепо заменить нейросети, но открыто говорят об их фундаментальных ограничениях и пытаются закрыть существующие пробелы альтернативными математическими методами. В завершение ведущие вспомнили тезисы Франсуа Шолле (который ранее определял интеллект через коэффициент конверсии информации) и резюмировали: хотя глубокое обучение совершило подлинную революцию в распознавании паттернов на непрерывных многообразиях, оно точно не является единственным и окончательным ответом на вопрос о создании сильного искусственного интеллекта.

🧠 Дихотомия интеллекта: между «кучей трюков» и квантовой логикой 2:05:30

Иллюзия разума: глубокое обучение как «фокусничество» 2:06:08

В завершающей части беседы Боб Кук (Bob Coecke) и ведущие приходят к довольно радикальному выводу: современное глубокое обучение (DL) — это не «серебряная пуля» и не универсальное решение проблем интеллекта. Напротив, его называют «уникально обманчивым». Эта обманчивость кроется в том, что нейросети представляют собой «кучу трюков» (pile of tricks), способных имитировать любую деятельность, будь то логические рассуждения или написание программного кода.

Ключ к пониманию этого обмана лежит в концепции статистической интерполяции. Как отмечалось ранее в разговоре при обсуждении недостатков векторизации, нейросети не «понимают» структуру в строгом смысле, а строят непрерывный манифольд (многообразие) вокруг дискретных задач.

Проблема усугубляется тем, что теоретики часто забывают о «бесконечностях», заложенных в их моделях. Например, утверждение, что функции ReLU являются универсальными аппроксиматорами, математически верно только в пределе, который недостижим на практике.

«Люди обманываются результатами, которые приходят из бесконечности, забывая о ней в реальных сценариях. В практических условиях разные инструменты работают по-разному», — подчеркивают участники дискуссии.

Крабовый процессор и ловушка полноты по Тьюрингу 2:08:17

Разговор заходит о популярном аргументе: «Нейросети (например, LSTM) всемогущи, потому что они полны по Тьюрингу». Боб Кук и его собеседники относятся к этому скептически, приводя ироничный пример: логические ворота можно построить даже из крабов. Если из крабов можно собрать вентиль «И», значит, из них можно собрать процессор, который технически будет полон по Тьюрингу. Однако делает ли это крабов интеллектуальными?

Основные аргументы против «Тьюринг-оптимизма» в ИИ:

Практическая конечность: Ни одна реальная машина не является полной по Тьюрингу, так как она ограничена памятью и временем.
Развернутые RNN: В реальности рекуррентные нейронные сети (RNN) обучаются и запускаются в «развернутом» (unrolled) виде с конечным горизонтом памяти. Никто не запускает их бесконечно на бесконечных данных.
Категории вычислений: Важно разделять уровни сложности. Если добавить к RNN бесконечную ленту или стек, она станет машиной Тьюринга, но в том виде, в котором их используют в Deep Learning, они — не более чем статистические интерполяторы.

Дихотомия дискретного и непрерывного 2:14:47

Центральной философской темой финала становится противостояние (и единство) дискретных логических структур и непрерывных манифольдов. Это то, что Боб Кук называет глубокой взаимосвязью, пронизывающей всё мироздание.

Лучшая иллюстрация этой связи — топология. Возьмем тороидальный объект (форму пончика). Его можно непрерывно деформировать как угодно, но количество дырок в нем (одна или две) — это строго дискретное число. Вы не можете «немного» убрать дырку с помощью непрерывной деформации. Так же и в интеллекте: мы имеем дело с непрерывным восприятием, которое кристаллизуется в дискретные понятия и программы.

Тим упоминает свежую и еще не опубликованную на тот момент (май 2021) «гипотезу ямчатого манифольда» (dimpled manifold hypothesis) от Николаса Карлини. Согласно ей, многообразия данных в нейросетях похожи на мячи для гольфа — они испещрены крошечными «ямками» (адверсариальными примерами), которые невозможно объяснить простой гладкой геометрией.

Эта дихотомия разделяет два типа процессов:

Система 1 (Непрерывное): Интерполяция, интуитивное узнавание, «фокусы» подсознания.
Система 2 (Дискретное): Выполнение программ, логический вывод, символьные вычисления.

От теории к практике: состояние квантового оборудования (NISQ) 1:38:04

Несмотря на сложность обсуждаемых моделей (таких как QNLP), Боб Кук подчеркивает переход от чистой теории к практическим экспериментам. Мы находимся в эре NISQ (Noisy Intermediate-Scale Quantum) — шумных квантовых устройств промежуточного масштаба.

Оценка прогресса здесь амбивалентна:

С одной стороны, мы отошли от «игрушечных» моделей на бумаге к запуску реальных лингвистических схем на квантовом «железе».
С другой стороны, ограничения современных кубитов и уровень шума заставляют исследователей искать такие структуры (например, ZX-исчисление, упомянутое во второй главе), которые максимально эффективно используют имеющиеся скудные ресурсы.

В конечном итоге, интеллект (как человеческий, так и искусственный) может оказаться таким же гибридом: набором «биологических фокусов» и жесткой логики, работающих на несовершенном, но функционирующем субстрате.