Ноам Хомский: Тупик нейросетей и призраки разума

Современный искусственный интеллект — это лишь высокотехнологичный «бульдозер», который не имеет ничего общего с фундаментальной наукой о разуме и биологической природой нашего мышления. Пока инженеры пытаются масштабировать статистические предсказания, Ноам Хомский напоминает: мы лишь имитируем понимание, подменяя реальное познание мира набором удобных, но интеллектуально пустых теорий. Глубокий разрыв между инженерным прагматизмом и когнитивной архитектурой мозга ставит под сомнение саму суть того, что мы называем прогрессом в области ИИ.

🧠 Абстракции, символы и призрак композициональности 0:02

Начало диалога о природе разума неизбежно сталкивает две фундаментальные парадигмы: радикальный эмпиризм, полагающийся на обучение через сенсорный опыт, и рационализм, настаивающий на врожденных структурах и символьных вычислениях. В контексте современных достижений искусственного интеллекта этот спор обостряется. Несмотря на инженерные успехи больших языковых моделей, Ноам Хомский (Noam Chomsky) и сторонники символьного подхода указывают на концептуальную пропасть: нейронные сети, по сути, занимаются «подгонкой кривых» (curve fitting), в то время как человеческое мышление оперирует абстракциями и строгими правилами .

Архитектурный тупик эмпиризма 2:34

Для контекста дискуссии важно рассмотреть позицию Яна Лекуна, чья работа «Путь к автономному машинному интеллекту» (A Path Towards Autonomous Machine Intelligence) служит антитезой взглядам Хомского . Лекун признает, что современные системы ИИ все еще далеки от человеческой надежности в реальных задачах, таких как вождение автомобиля, даже после миллионов итераций обучения с подкреплением . Он связывает это с отсутствием у машин «моделей мира» — внутренних предиктивных механизмов.

Однако критики отмечают иронию: предлагаемые Лекуном иерархические архитектуры начинают напоминать жестко запрограммированные когнитивные структуры 1980-х годов . Проблема заключается не просто в сложности связей, а в фундаментальной неспособности современных систем к композициональности. Даже ведущие исследователи в области глубокого обучения признают, что композициональная семантика — способность понимать целое через структуру и значение его частей — остается недосягаемой для текущей парадигмы . Ранее в разговоре упоминались энергетические модели Лекуна, но даже они не решают проблему вывода абстракций, которые не сводятся к прямой сенсорной информации.

Бесконечное море абстракций 12:11

Центральный аргумент против чистого эмпиризма гласит: человеческое познание не ограничивается восприятием. Рациональный субъект может быть лишен зрения или слуха, но сохранять полную рациональность, сопоставимую с уровнем, который демонстрирует Ноам Хомский (Noam Chomsky) . Корень нашей когнитивной способности — это умение выбирать из бесконечного множества возможных абстракций, которые невозможно дедуцировать только из перцептивных данных .

Существует критическая разница между:

Абстракциями, выведенными из визуальных признаков (например, распознавание объектов через параллакс или движение).
Абстракциями высшего порядка, которые формируют правила мира.

Данные, полученные через восприятие, не позволяют вывести большинство фундаментальных правил реальности за ограниченное время и в ограниченном пространстве . Нейронные сети сегодня обучаются на «крошечной точке» абстракций из бесконечного океана возможностей . Они ограничены индуктивным смещением, заложенным разработчиками в архитектуру кодеров и предикторов, что делает их абстракции «человеко-ориентированными» или предварительно заданными, а не истинно выведенными из чистого опыта .

Символьные процедуры vs подгонка кривых 17:29

Человеческое мышление базируется на принципе композициональности: значение сложного выражения полностью определяется его структурой и значением его составляющих . Это позволяет нам мгновенно понимать бесконечное количество новых комбинаций слов или идей. Этот же принцип применим к планированию и рассуждению.

Рассмотрим простое логическое правило: «Если объект Y находится внутри объекта X, то местоположение Y совпадает с местоположением X» . Это не просто статистическая закономерность, извлеченная из данных, а символьная процедура, функция, работающая с переменными определенных типов. Для ее реализации необходимы:

Переменные специфических типов внутри онтологической структуры.
Квантификация (например, квантор всеобщности), позволяющая оперировать потенциально бесконечным набором значений .

Нейронные сети являются экстенсиональными системами — они работают с конкретными наборами данных и не могут эффективно представлять интенсиональные объекты, то есть бесконечные объекты через конечные процедуры . Классический пример — арифметика. Программа сложения Add 0 n = n является конечным представлением бесконечного процесса . Без использования символьной логики и типизированных структур невозможно достичь уровня понимания, при котором правила (например, коммутативность умножения) становятся математически очевидными, а не просто вероятностно предсказанными .

Ричард Монтегю в свое время математически доказал, что любая сложная семантическая конструкция, будь то «Джон» или «племянник моего дяди, живущий в Австралии», при правильном типизировании сводится к единой сущности в рамках алгебраической семантики . Это и есть «музыка композициональности» — способность мозга в реальном времени строить ментальную картину из последовательности звуков, используя заранее встроенные правила для подчастей . Без этих символьных процедур разум был бы вынужден перебирать все возможные комбинации смыслов, что сделало бы невозможным понимание речи или сложное планирование в реальном времени.

🤖 Научные приоритеты и математическая строгость: Спор титанов ИИ 25:09

Спор с Шмидхубером: вопрос научного приоритета и культуры цитирования 25:09

Одной из самых острых тем в сообществе исследователей искусственного интеллекта остается вопрос интеллектуальной собственности на идеи. В центре очередного скандала оказался Юрген Шмидхубер, который в своем блоге обрушился с критикой на работу Янна Лекуна 2022 года об автономном машинном интеллекте . По мнению Шмидхубера, эта статья фактически пересказывает («rehashes»), но не цитирует фундаментальные работы его лаборатории, опубликованные в период с 1990 по 2015 годы.

Шмидхубер давно заслужил репутацию человека, который приписывает авторство почти всех современных прорывов в глубоком обучении своим ранним исследованиям. Несмотря на то что его часто называют одним из «крестных отцов» нейросетей, он выражает явную обиду из-за того, что не разделил премию Тьюринга с Лекуном, Хинтоном и Бенжио . В своем разборе Шмидхубер указывает на конкретные концепции, которые, по его мнению, были заимствованы без должного упоминания:

Мировые модели и контроллеры: Концепции планирования и моделирования среды, которые Лекун представляет как новые, Шмидхубер описывает как «déjà vu» своих работ начала 90-х .
Иерархические структуры: Шмидхубер утверждает, что его «Neural Sequence Chunker» (1991) уже использовал предиктивное кодирование в глубокой иерархии рекуррентных сетей .
Проблема связывания (Binding Problem): Обсуждая необходимость символов для рассуждений, Шмидхубер ссылается на свою работу 2020 года (совместно с Клаусом Греффом из Google Brain), где предлагается фреймворк для формирования объектно-ориентированных сущностей из неструктурированных сенсорных данных .

Особое внимание уделяется архитектуре JEPA (Joint Embedding Prediction Architecture), которую Лекун называет центральной частью своей работы. Шмидхубер парирует, что еще в 1997 году он создал генеративную состязательную машину подкрепляемого обучения, способную игнорировать детали и задавать абстрактные вопросы в пространстве репрезентаций .

Ведущие подкаста отмечают, что Шмидхубер — сложная фигура: он даже запросил гонорар более 5000 долларов за 60-минутное участие в эфире, что в итоге не привело к соглашению . Тем не менее признается, что хотя Лекун использует современные методы (отказываясь, например, от RNN в пользу других структур), многие его абстрактные идеи действительно имеют глубокие корни в работах Шмидхубера .

Вероятностная теория против энергетических моделей: битва за неопределенность 34:37

Вторая часть дискуссии переходит от личностей к фундаментальной математике. Ведущие, придерживающиеся байесовского подхода, критикуют современную парадигму нейронных сетей за то, что они по сути являются лишь оценщиками максимального правдоподобия (MLE) . Проблема MLE в том, что модель выдает одно «истинное» значение, игнорируя распределение вероятностей и реальную неопределенность мира.

Янн Лекун, будучи прагматиком, активно продвигает энергетические модели (Energy-Based Models, EBM). Его основной аргумент против использования строгой теории вероятностей заключается в том, что в пространствах высокой размерности нормализация распределения (чтобы сумма вероятностей равнялась единице) становится вычислительно невозможной . По мнению Лекуна, если вы пытаетесь нормализовать распределение в таких условиях, ваша модель, скорее всего, будет ошибочной .

Однако сторонники байесовского подхода видят в этом опасный «хак». Они приводят ироничную аналогию с «арифметикой первокурсника»:

«Это похоже на человека, который говорит: складывать дроби слишком сложно из-за общих знаменателей, поэтому я буду просто складывать числители и игнорировать остальное» .

Критика энергетического подхода строится на нескольких пунктах:

Отсутствие теоретического фундамента: Отказ от нормализации лишает исследователей возможности корректно сравнивать модели и проводить интегральные вычисления .
Проблема "хаков": Из-за отсутствия строгой теории в машинном обучении появляются эмпирические методы вроде Batch Norm, работа которых не имеет четкого математического обоснования .
Необходимость нормализации: Даже Лекуну в его архитектурах (например, в режиме дискретных действий, напоминающем систему Даниэля Канемана) приходится использовать сэмплирование по Гиббсу для сложения вероятностей траекторий .

Дискуссия затрагивает и роль символьных вычислений, которые ранее уже обсуждались в контексте работ Ноама Хомского. Ведущие выражают скепсис относительно того, смогут ли дифференцируемые (непрерывные) системы полноценно моделировать мир, состоящий из дискретных символьных программ . Они призывают «взять быка за рога» и научиться проводить поиск в дискретных пространствах, вместо того чтобы пытаться аппроксимировать всё подряд градиентными методами .

В завершение раздела упоминается статья Лекуна о том, чему ИИ может научить нас в понимании интеллекта. В ней он вступает в полемику с Гэри Маркусом, разделяющим взгляды Ноама Хомского на врожденные структуры . Это противостояние радикального эмпиризма (Лекун) и символизма (Маркус/Хомский) остается главной линией фронта в современной науке об ИИ.

🧠 Миф о «чистой доске» и границы радикального эмпиризма 51:38

Центральный конфликт в философии познания на протяжении веков сводится к спору между эмпиризмом и рационализмом. Ноам Хомский радикально изменил ландшафт этой дискуссии, когда в 1950-х годах выступил с сокрушительной критикой бихевиоризма . Традиционная психология того времени рассматривала человеческий разум как «tabula rasa» — чистую доску, на которой внешняя среда пишет свои правила через стимулы и реакции. Однако, как подчеркивает Хомский, эта модель абсолютно неспособна объяснить «чудо» усвоения языка ребенком .

Крах бихевиоризма и генетическая предопределенность 51:51

Бихевиористы полагали, что люди — это своего рода пластилин, формируемый под воздействием подкрепления . Хомский же доказал, что практически каждый человек, независимо от уровня интеллекта, овладевает сложнейшим аппаратом языка в кратчайшие сроки и зачастую без целенаправленного обучения . Для того чтобы это произошло, разум должен быть генетически запрограммирован.

Основные аргументы в пользу врожденных структур включают:

Скорость усвоения: дети осваивают грамматические конструкции быстрее, чем это возможно при простом переборе вариантов.
Бедность стимула: объем данных, которые получает ребенок, ничтожно мал по сравнению со сложностью системы, которую он выстраивает .
Универсальность: все человеческие языки имеют общую глубинную структуру, отражающую врожденную биологическую программу .

Ранее в разговоре уже затрагивалась критика современных LLM, но в контексте эпистемологии Хомский настаивает: знание не выводится целиком из чувственного опыта . Если бы мы были чистыми эмпириками, мы бы не смогли выжить, так как наше знание абстрактных математических истин и логических законов гораздо обширнее любого возможного индивидуального опыта .

Театр сознания против врожденных механизмов 53:45

Хомский отвергает классическую эмпирическую традицию, ярчайшим представителем которой был Дэвид Юм . В представлении Юма разум был своего рода «театром», где идеи маршировали по сцене перед взором сознания. Из этого следовало, что мы можем полностью интроспектировать содержимое своего ума: если идеи нет на «сцене», значит, её нет в голове .

Хомский же, вдохновляясь континентальным рационализмом XVII-XVIII веков, утверждает обратное: большая часть механизмов, управляющих нашим мышлением и языком, скрыта от сознательного доступа . Рационализм ставит приоритет разума и интуиции над ощущениями. С этой позиции знание — это не просто коллекция фактов из внешнего мира, а результат работы внутренних структур, которые определяют, что вообще может быть понято человеком .

Это накладывает определенные ограничения. Как отметил Брайан Маги в интервью 1970-х годов, если наш разум имеет жесткую структуру, то всё, что в неё не вписывается, остается для нас невыразимым и непостижимым . Однако именно эти ограничения являются фундаментом нашей творческой способности понимать бесконечное пространство абстракций .

Провал обучения на данных: аргумент о 200 миллионах предложений 57:05

Современные споры об искусственном интеллекте часто воспроизводят старый спор эмпириков и рационалистов. Сторонники «обучения из наблюдений» должны ответить на фундаментальный вызов: как ребенок умудряется «вычислить» правила языка, не имея доступа к гигантским датасетам ? Уэд Саббер в дискуссии отмечает, что эмпиризм — это карточный домик, который рушится, как только мы допускаем необходимость символьных манипуляций .

Пример из жизни: человек в Бангладеш и человек в Амстердаме живут в разных перцептивных мирах, но их фундаментальное знание о мире одинаково . Они оба знают, что физический объект не может находиться в двух местах одновременно — и это знание не получено из наблюдений, а является частью когнитивного шаблона .

Даже в мире научной фантастики или компьютерных игр, где правила физики могут меняться, наш разум пытается «навесить» новый опыт на уже существующие структуры . Мы можем научиться перемещаться в четырехмерном пространстве видеоигры, но есть пределы, которые наша биология преступить не может. Хомский проводит аналогию с крысами: как бы вы ни тренировали крысу, она никогда не пройдет лабиринт, построенный на логике простых чисел, потому что в её когнитивной структуре просто отсутствует это понятие . Позже в дискуссии будет подробно рассмотрено, является ли этот «горизонт познания» окончательным для человека, но для Хомского очевидно: признание врожденных ограничений — это не пессимизм, а единственный путь к научному пониманию того, что такое человек .

🧩 Познавательные ограничения и «лабиринт простых чисел» 1:15:32

Центральным вопросом этой части дискуссии становится природа человеческого разума не как «чистого листа» или универсального вычислителя, а как биологического органа, имеющего свои специфические очертания и, как следствие, фундаментальные пределы. Ноам Хомский и участники беседы исследуют провокационную идею: возможно, мы, подобно другим животным, заперты в когнитивном лабиринте, из которого нет выхода просто в силу нашего биологического дизайна.

Мышление как биологический орган: аналогия с лабиринтом 1:15:44

Рассуждение начинается с метафоры «лабиринта простых чисел». Представьте крысу, помещенную в лабиринт, где для выхода нужно всегда поворачивать на узлах, соответствующих последовательности простых чисел (2, 3, 5, 7...). Очевидно, что крыса никогда не решит эту задачу . Проблема не в недостатке памяти или времени, а в том, что концепция «простого числа» в принципе отсутствует в когнитивном инвентаре грызуна. Для неё это не структура, а хаос.

Ноам Хомский проецирует эту аналогию на человеческий вид. Он утверждает, что человеческий разум — это не безграничное пространство для обработки любой информации, а жестко детерминированная биологическая система . Как ранее обсуждалось в контексте врожденных структур, эта «жесткая прошивка» парадоксальным образом является источником нашей творческой свободы. Именно наличие фиксированных правил позволяет нам из ограниченного набора данных выстраивать бесконечно сложные системы, такие как язык или математика .

Однако за эту способность приходится платить наличием «слепых пятен». Если наши познавательные способности определяются биологией, значит, существуют пласты реальности, которые мы принципиально не способны концептуализировать. Мы можем оказаться в положении той самой крысы: видеть феномены Вселенной, но быть не в состоянии распознать стоящие за ними законы, потому что они не соответствуют нашим врожденным когнитивным шаблонам .

Механизм выживания и законы природы в «прошивке» 1:28:50

Возникает вопрос: как именно эти когнитивные шаблоны оказались в нашем мозгу? Хомский и Кейт рассматривают гипотезу, согласно которой источником наших базовых знаний являются не только гены, но и сами законы природы . Существует некий «эфирный механизм» или резонанс между устройством разума и устройством Вселенной.

Ключевым фактором здесь выступает выживание. Биологическая цепь, которая не соответствовала законам физики или логики окружающего мира, просто не смогла бы просуществовать долго . Знание в этом смысле не «выучивается» в процессе жизни, а «приобретается» эволюционно. Как отмечает Хомский, мы не учимся тому, как функционируют слова, бегая по парку, — мы приходим в мир уже экипированными этим знанием .

В дискуссии упоминается принцип свободной энергии Карла Фристона: любая сущность, имеющая границы (границы Маркова), должна моделировать свою среду, чтобы продолжать существовать . Это означает, что наши когнитивные функции — это не случайные надстройки, а математически неизбежные следствия необходимости предсказывать будущее ради выживания. Таким образом, наши «шаблоны» — это слепки законов природы, отфильтрованные миллионами лет эволюционного отбора .

Граница между математикой и реальностью 1:23:50

Интересный парадокс заключается в том, что человеческий разум способен создавать абстракции, которые вообще не имеют соответствия в физическом мире. Хомский указывает на существование огромного пласта «платоновских идей» и математических конструкций, которые логически непротиворечивы, но никак не представлены в реальности .

С другой стороны, во Вселенной явно происходят процессы, для описания которых у нас нет подходящего математического аппарата. Хомский предполагает, что область пересечения «человеческой математики» и «физической реальности» может быть ничтожно мала — это лишь тонкая прослойка, которую мы называем физикой .

Это приводит к мысли об ограниченности научного метода. Хотя наука, в отличие от замкнутых формальных систем Гёделя, является «открытой системой» (поскольку мы можем задавать вопросы Вселенной через эксперименты ), она всё равно ограничена вопросами, которые мы способны сформулировать. Хомский цитирует Исаака Ньютона, который, сняв завесу с некоторых тайн природы, одновременно показал несовершенство «механической философии» и оставил глубочайшие секреты в той «тьме, в которой они всегда пребывали и будут пребывать» .

Марсиане и пределы понимания 1:40:16

В завершение главы Хомский предлагает мысленный эксперимент: возможно, некий инопланетный организм — назовем его «марсианином» — посмотрит на наши неразрешимые научные загадки как на простейшие задачи . То, что для нас является «тайной» (mystery), для него будет лишь «проблемой» (problem), поддающейся решению.

Разница между ними и нами заключается не в объеме памяти и не в мощности «процессора», а в самом дизайне когнитивной природы. Мы не можем выйти за пределы своих биологических ограничений точно так же, как крыса не может понять простые числа . Признание этих границ, по мнению Хомского, является необходимым шагом для понимания того, что значит быть человеком.

👻 Призрак в машине: дуализм и механика 1:40:59

Изгнание машины вместо изгнания призрака 1:40:59

Ноам Хомский утверждает, что современная наука, сама того не осознавая, живет в мире «сниженных ожиданий», который сформировался после Исаака Ньютона. До ньютоновской революции научная мысль, представленная Галилеем и Декартом, придерживалась механистической философии . Согласно этому взгляду, мир был понятен только в той мере, в какой его можно было представить в виде сложного механизма — системы шестеренок, рычагов и непосредственных физических контактов . Галилей настаивал: мы понимаем теорию лишь тогда, когда можем воспроизвести её действие с помощью искусственного устройства . Декарт пошёл дальше, попытавшись описать всё физическое тело как автомат, но он столкнулся с проблемой разума — того самого «призрака в машине».

Вопреки распространенному мнению, Ньютон не «изгнал призрака», сделав мир полностью объяснимым. Напротив, он «изгнал машину» . Открыв закон всемирного тяготения и принцип действия на расстоянии, Ньютон разрушил веру в то, что мир является понятным механическим устройством. Самому Ньютону идея взаимодействия тел без физического контакта казалась настолько абсурдной, что он до конца жизни искал способ вернуться к механистическому объяснению, считая свою теорию лишь временным математическим дескриптором .

С этого момента цели науки радикально изменились:

Учёные перестали требовать от мира «понятности» (intelligibility) .
Вместо того чтобы понимать устройство самой реальности, наука стала стремиться к созданию понятных теорий о ней .
Математические модели стали признаваться удовлетворительными, даже если стоящие за ними физические процессы (как искривление пространства-времени или квантовая запутанность) совершенно не поддаются нашему когнитивному интуитивному восприятию .

Таким образом, Ньютон оставил «призрака» (разум и его загадки) нетронутым, показав, что даже «материя» не является тем простым и понятным механизмом, за который её принимали .

Математика как мост между двумя тайнами 1:47:08

В контексте ньютоновского наследия Хомский и его собеседники обсуждают аргументы Эрика Куриеля из Института черных дыр, который ставит под сомнение саму репрезентативную мощь математики . В стандартном представлении считается, что формулы вроде $F=ma$ представляют реальность. Однако возникает вопрос уровней абстракции: представляет ли общая формула ускорения то же самое, что и детализированная модель системы Земля—Солнце с учётом лунных возмущений? .

Хомский подчеркивает, что математика в современной науке — это не зеркало реальности, а скорее «мост» между двумя одинаково таинственными вещами . С одной стороны находится физическая реальность, которая после Ньютона стала «странной» и неуловимой для нашей интуиции. С другой стороны — концепции и абстракции в нашей голове, происхождение которых само по себе является загадкой . Мы не можем напрямую заглянуть в механизм формирования идей, но мы используем математику, чтобы связать эти внутренние структуры с внешними феноменами.

Эта ситуация ведет к своего рода научному прагматизму:

Мы строим модели, которые когнитивно достижимы для нас (наш разум — это тоже своего рода «машина» с ограничениями) .
Мы признаем, что наше понимание — это не прямой контакт с истиной, а набор теорий, которые просто «работают» на практике .
Разрыв между названием вещи и её сутью, как отмечал Ричард Фейнман, фундаментален: знать название птицы на всех языках мира — значит знать всё о людях и ничего о самой птице .

Пример с инерцией из детства Фейнмана иллюстрирует этот предел: мы можем назвать явление «инерцией», мы можем описать его математически, но никто на самом деле не знает, почему это происходит . Мы всегда вынуждены принимать что-то на веру как отправную точку, чтобы избежать бесконечного регресса объяснений .

Креативный принцип и «Проблема Декарта» 1:52:18

Оставив «призрака в машине» нетронутым, механика Ньютона лишь подчеркнула уникальность человеческого разума, о которой писал ещё Декарт. Для Декарта существовало разделение на res extensa (протяженная материя) и res cogitans (мыслящая субстанция) . Ключевым доказательством существования «мыслящей субстанции» Хомский считает креативный аспект языка.

В отличие от животных или машин того времени, человеческая речь обладает уникальными свойствами:

Она инновационна и безгранична .
Она адекватна ситуации, но не вызвана ею напрямую (отсутствие детерминизма «стимул-реакция») .
Она способна порождать в других мысли, которые они признают как свои собственные .

Это подводит к так называемой «проблеме Декарта»: как человек выбирает действие или изречение в конкретных обстоятельствах, обладая свободой воли? . Даже если наука движется в сторону детерминизма или случайности, ни та, ни другая модель не объясняет феномен выбора. Хомский иронично цитирует Уильяма Джеймса: если вы не верите в свободу воли, зачем вы вообще приводите аргументы в споре? Вы ведь вынуждены это делать, как и ваш оппонент «вынужден» не соглашаться .

Ранее в разговоре уже затрагивалась тема врожденных структур (об этом подробнее в главе 3), и здесь Хомский возвращается к мысли, что способность порождать бесконечное количество смыслов из конечного набора символов — это величайшее «изобретение» природы, которое Галилей считал самым значимым в истории . Тот факт, что мы можем произнести предложение, которое никогда не звучало раньше, и оно будет понято, остается одной из глубочайших загадок, отделяющих «призрак» нашего разума от любой предсказуемой механики .

Ближе к завершению этого фрагмента дискуссия переходит к критике коннекционизма и работ Фодора и Пилишина (подробно в главе 6), где вопрос «машины» в голове ставится уже в контексте вычислительных архитектур .

🧠 Архитектура разума: критика коннекционизма через призму Фодора и Пылышина 2:06:03

В середине 80-х годов, когда первая волна популярности нейронных сетей (тогда называемых коннекционизмом) начала набирать обороты, философы Джерри Фодор и Зенон Пылышин опубликовали программную статью «Коннекционизм и когнитивная архитектура». Несмотря на то, что работа была написана в 1987–1988 годах , она остается критически важной для современного понимания искусственного интеллекта. Основной тезис авторов заключается в том, что между символьными системами и нейросетевыми архитектурами существуют фундаментальные различия, которые напрямую влияют на когнитивные способности системы .

Аргументация Фодора и Пылышина строится на трех «столпах»: продуктивности, композициональности и систематичности мышления. Ранее в разговоре Ноам Хомский уже касался проблемы абстракций, но именно здесь критика переходит в плоскость инженерной реализации когнитивных функций. Главный вопрос звучит так: может ли система, лишенная явного комбинаторного синтаксиса, по-настоящему обладать разумом, подобным человеческому?

Продуктивность и бесконечность правил 2:07:10

Первое фундаментальное свойство символьных систем — это их продуктивность . Это означает способность генерировать бесконечное количество структур из конечного набора правил и переменных. В качестве примера можно привести контекстно-свободные грамматики: имея набор правил, вы можете создавать бесконечное множество предложений, каждое из которых будет структурно последовательным .

Важнейшая характеристика таких вычислений — их потенциальная неограниченность во времени. Если мы представим машину Тьюринга, у неё есть бесконечная лента, на которую она может записывать символы, возвращаться к ним, расширять их и итерировать процесс сколь угодно долго . В реальности любая машина конечна, но архитектурно существует огромная разница между конечным автоматом и системой с потенциально неограниченной памятью . Коннекционистские системы, как правило, ограничены своей фиксированной структурой, что ставит под сомнение их способность к истинной продуктивности, заложенной в человеческом языке и логике.

Композициональность против нейронного «коллапса» 2:09:24

Второй столп критики — композициональность, которая во многом является обратной стороной продуктивности. Она подразумевает, что целое состоит из частей, которые сохраняют свою идентичность внутри структуры . В символьном мире, например, в логической формуле (такой как 3-SAT), мы можем аналитически выделить отдельные переменные и термы даже после выполнения операции . Мы можем сравнить две разные формулы и обнаружить у них общие компоненты, что позволяет проводить мета-анализ .

В типичной нейронной сети происходит то, что можно назвать «коллапсом» информации. Когда нейрон выполняет вычисление, он суммирует сигналы и выдает единый результат — он либо активируется, либо нет . В этот момент внутренняя структура входных данных теряется. Мы получаем сигнал, но не можем «развернуть» его обратно, чтобы понять, какие именно термы привели к этому значению, так как они были смешаны (конвольвированы) и суммированы .

Чтобы решить эту проблему в рамках коннекционизма, пришлось бы создавать отдельный нейрон для каждой возможной комбинации входных данных, что ведет к экспоненциальному взрыву сложности . Без сохранения структуры частей система лишается возможности глубокой декомпозиции и последующей рекомпозиции знаний.

Интенсионал: алгоритм как порождающая функция 2:12:42

Различие между классическим ИИ и нейросетями также можно описать через философские категории интенсионала и экстенсионала. Интенсионал — это формула или алгоритм, порождающая функция . Например, дискретное преобразование Фурье можно представить символически. В таком виде мы понимаем его суть и можем менять параметры, сохраняя смысл операции .

Экстенсионал же — это материализованный результат, конкретный набор данных. Проблема нейросетей в том, что они часто работают на уровне экстенсионалов. Символьные системы, напротив, удерживают «интенсионал» — само описание правила . Это позволяет, например, построить алгоритм, который за конечное время определит, принадлежит ли предложение грамматике, не требуя при этом материализации бесконечного множества всех возможных предложений этой грамматики . Как отмечают авторы, современным нейросетям не хватает именно этой способности — оперировать богатыми абстракциями, которые можно инспектировать и переиспользовать в разных контекстах .

Разделение памяти и вычислений 2:17:10

Последнее критическое различие, выделенное в работе Фодора и Пылышина, касается разделения алгоритма (кода) и памяти. В классической архитектуре Тьюринга конечное управляющее устройство отделено от расширяемой ленты памяти . Если у вас заканчивается память, вы просто добавляете «планку оперативной памяти», и тот же самый алгоритм продолжает работу без изменений .

В коннекционистских системах память и вычисления жестко «склеены» в единое целое. Веса связей одновременно являются и хранилищем знаний, и механизмом обработки. Из-за этой архитектурной особенности, если вы хотите увеличить размер входного вектора, вам, как правило, приходится переобучать всю сеть заново . Хотя попытки создать дифференцируемые нейронные компьютеры предпринимались, они сталкиваются с огромными трудностями при обучении именно из-за попытки разделить эти компоненты .

Таким образом, главная задача для будущего ИИ — научиться создавать алгоритмы, которые отделены от памяти, но при этом способны обучаться абстракциям, позволяющим эффективно этой памятью манипулировать .

🎙️ Оживляя «Призрака в машине»: техническая одиссея и биологический разум 2:31:06

Интервью с таким мыслителем, как Ноам Хомский (Noam Chomsky), ведущие подкаста Machine Learning Street Talk сравнивают с уникальной возможностью обсудить силлогизмы с Сократом или дуализм с Декартом . Однако эта историческая запись едва не была потеряна для аудитории. Техническая реализация спасения фрагментов интервью превратилась в отдельную инженерную сагу, которую команда проекта называет «эмоциональными американскими горками» . Чтобы восстановить поврежденные участки аудио, были использованы передовые методы: клонирование голоса самого Хомского и алгоритмы динамического искажения времени (Dynamic Time Warping, DTW). Эти инструменты позволили не просто «починить» звук, но и сохранить аутентичные интонации великого лингвиста, фактически создав цифровой мост между поврежденным исходником и финальным текстом.

Творческая природа языка и миф о его чистоте 2:31:06

Разговор с Ноамом Хомским начинается с фундаментального определения языка не как набора статистических данных, а как выражения человеческой креативности. Лингвист подчеркивает, что использование языка уместно в конкретных ситуациях, но не вызвано ими напрямую — в этом и заключается свобода человеческого разума . Язык представляет собой бесконечное пространство возможных выражений, что делает его уникальным феноменом в известной нам вселенной.

При этом Ноам Хомский (Noam Chomsky) решительно развенчивает миф о «чистоте» языка. С точки зрения науки не существует такой вещи, как «чистый английский».

Языки — это лишь совокупность различных способов говорения, которые более или менее похожи друг на друга .
Понятие «правильного» или «престижного» языка — это вопрос социальной и политической власти: обычно это речь завоевателей, богатых групп или жреческих каст .
Даже Шекспир не был «чистым» в том смысле, который в это вкладывают пуристы; если бы социальные отношения в истории перевернулись, мы бы считали «плохим» совсем другой диалект .

Для Хомского лингвистика является ветвью психологии, поскольку изучение человеческого языка позволяет приблизиться к самой «человеческой сущности» — отличительным качествам ума, которые, насколько нам известно, уникальны для нашего вида .

Революция в MIT: когда инженерия встретилась с наукой 2:45:27

Размышляя о развитии технологий, Ноам Хомский (Noam Chomsky) проводит четкую границу между инженерными достижениями и научным прогрессом. Он вспоминает исторический переход, свидетелем которого стал в Массачусетском технологическом институте (MIT). В 1950-х годах, когда искусственный интеллект только зарождался в работах Марвина Минского и Алана Тьюринга, ИИ задумывался именно как наука о природе интеллекта .

В те годы MIT был преимущественно инженерной школой, где мосты строились на основе навыков, накопленных профессией. Однако к середине 1960-х произошла трансформация: MIT стал научным университетом . Инженерия была унифицирована, и студенты всех направлений начали изучать фундаментальную физику, химию и математику. Впервые фундаментальные науки смогли что-то дать инженерам на практике .

Сегодняшний ИИ, по мнению Хомского, практически полностью лишился научного измерения, которое интересовало его отцов-основателей, и превратился в чистую инженерию . Он не умаляет её достоинств, сравнивая современные нейросетевые инструменты с бульдозерами — они полезны для уборки снега или перевода текста (Google Translate), но не объясняют, как работает мир . Ранее в интервью уже затрагивалась критика коннекционизма, и здесь Хомский вновь подчеркивает, что отсутствие объяснительной силы делает модель бесполезной для науки.

Биологический «оракул»: за пределами цифровых схем 2:48:41

Одним из самых интригующих моментов беседы становится обсуждение «биологического софта» человека. Ведущие поднимают вопрос о гипотезе Роджера Пенроуза: не являются ли наши мозги «машинами-оракулами» Тьюринга, использующими квантовые свойства для вычислений, которые невозможно воспроизвести в кремнии ?

Хотя Хомский (Noam Chomsky) дистанцируется от квантовых теорий Пенроуза, он согласен с тем, что современная архитектура нейросетей может быть фундаментально неверным местом для поиска механизмов памяти и мышления . Он опирается на работы Рэнди Галлистела (Randy Gallistel), который утверждает:

Нейросетевые модели не обладают мощностью, необходимой для реализации базовых элементов машины Тьюринга .
Вычисления в мозге происходят не на уровне связей между нейронами, а на гораздо более глубоком уровне внутри самой клетки, возможно, с участием РНК .
Скорость нейронной передачи, как отмечал еще Гельмгольц, чрезвычайно мала для тех вычислительных задач, которые выполняет разум .

Примером невероятной внутренней вычислительной мощности Хомский называет клетки Пуркинье, которые способны на сложнейшие операции без внешних соединений . Если современные исследователи ИИ смотрят только на нейронные сети, они рискуют оказаться в положении пьяницы, который ищет ключи под фонарем просто потому, что там светлее . Настоящая природа человеческого познания остается биологической загадкой, которую еще только предстоит формализовать.

🧩 Наука за пределами постижимого: от механики к тайнам разума 2:56:07

История современной науки — это история снижения наших амбиций. В эпоху раннего модерна ученые стремились найти «постижимую вселенную», работающую по законам механики, подобно сложным часовым механизмам, которые создавали ремесленники того времени . Однако Исаак Ньютон продемонстрировал, что мир не является интуитивно понятным в этом смысле. С тех пор наука больше не ищет «понятный мир» — она ищет лишь «понятные теории» о мире .

Ноам Хомский подчеркивает: если теория достаточно хороша, она должна объяснять, почему вещи устроены именно так, а не иначе. В этом контексте современные подходы вроде глубокого обучения или GPT-3 вообще не входят в область научного теоретизирования, так как они не могут объяснить ограничения систем . Наше познание сталкивается с «когнитивными горизонтами» — тайнами, прогресс в которых равен нулю на протяжении тысячелетий. К ним Хомский относит:

Проблему движения: физики описывают его через квантовые системы или гравитоны, но сама суть движения остается за пределами нашего интуитивного понимания .
Конструирование мыслей: как мы создаем бесконечное количество идей и передаем их другим, у которых нет доступа к нашему разуму? Галилей считал это величайшим чудом, а изобретение алфавита — попыткой зафиксировать это чудо конечным набором символов .
Свободу воли: наука не имеет ни малейшего представления о том, как человек принимает решение даже просто поднять мизинец .

Ментальная инвентаризация: почему семантика — это на самом деле синтаксис 3:00:45

Обсуждая развитие семантики, Хомский утверждает, что популярные парадигмы — логическая, онтологическая или истинностная семантика — часто упускают суть человеческого языка. По его мнению, то, что такие исследователи, как Барбара Парти, называют семантикой, на самом деле является синтаксисом: изучением символьных манипуляций в уме .

В моделирующей семантике объекты — это не вещи в физическом мире, а ментальные конструкты. Хомский обращается к примеру Аристотеля с «домом»: для физика это кирпичи и дерево (материя), но для человека — это форма и предназначение, порожденные разумом . Объект, физически идентичный дому, может быть библиотекой или бумажным прессом для великана, в зависимости от ментальной установки.

Аналогично обстоит дело с понятием «реки». Гераклит спрашивал, можно ли войти в одну реку дважды, ведь физически вода всегда разная. Хомский приводит личный пример с рекой Риллито в Аризоне: в ней почти никогда нет воды, но она остается рекой. Если ее заасфальтировать, она станет шоссе Риллито, хотя физический объект не изменится . Из этого следует радикальный вывод:

В естественном языке не существует формальной семантики (в духе Фреге или Тарского).
Связь слов с внешним миром крайне слаба и не основана на истинности или прямой референции .
Наиболее продуктивным подходом Хомский считает «событийную семантику» (Дэвидсон, Петроски), которая анализирует структуру событий как чисто синтаксическую конструкцию разума .

«Магическое кредо» эволюции и простейший путь природы 3:10:46

Вопрос о происхождении языка Хомский связывает с общими законами природы. Человечество — молодой вид, возникший около 200 000 лет назад. Генетические данные показывают, что разделение групп людей началось 150 000 лет назад, и все они обладают одинаковой языковой способностью . Это означает, что «языковой орган» возник в узком эволюционном окне и с тех пор не менялся.

Эволюция, по Хомскому, следует «магическому креду» Эйнштейна — закону наименьшего усилия . Природа всегда выбирает простейшее решение. Когда случайная мутация дала человеку способность к рекурсивному перечислению (способность, которой нет у других организмов), природа нашла кратчайший путь для связи этой способности с мышлением.

Этим простейшим решением является операция Merge (слияние) — формирование бинарных множеств . Из этой элементарной математической логики вытекает фундаментальное свойство языка: структурная зависимость. Все человеческие языки игнорируют линейный порядок слов и работают только с иерархическими структурами. Тот факт, что современные когнитивные науки пытаются объяснить это через «массивный статистический анализ данных», вызывает у Хомского недоумение: зачем искать сложные обходные пути, если есть идеальное и простое объяснение из законов природы? .

Три модели Хомского и три фундаментальные проблемы познания 3:16:35

Хомский сетует на то, что его классическая работа 1956 года «Три модели описания языка» понимается превратно уже 60 лет. Известная всем «иерархия Хомского» (включая контекстно-свободные грамматики) на самом деле была представлена в статье как список моделей, которые не работают для описания человеческого языка . Третья модель, на которой настаивал автор, часто игнорируется, в то время как компьютерные науки сосредоточились на изучении второстепенных для лингвистики автоматов.

Резюмируя состояние области, Хомский выделяет три ключевых вызова:

Проблема Платона: как мы знаем так много на основе столь малых данных? Попытки решить её за счет триллионов терабайт данных в ИИ — это путь в никуда .
Проблема Дарвина: как возникла эта уникальная система? Хомский считает идиотизмом попытки обучить шимпанзе человеческому языку, сравнивая это с попыткой научить студентов танцу пчел .
Проблема Декарта: как мы используем язык творчески, адекватно ситуации, но не будучи детерминированы ею? Это вопрос свободы воли, который остается за гранью понимания .

Ранее в разговоре уже затрагивалась тема ограничений биологических систем, и Хомский вновь подчеркивает: современная наука о разуме порой демонстрирует «иррациональность», игнорируя глубокие объяснения в угоду прибыльным инженерным решениям .

🧬 Грамматика как закон природы и границы познания 3:25:42

В завершающей части беседы Ноам Хомский подводит итог своему видению лингвистики, философии сознания и места современных технологий в научном поиске. Центральной темой становится противопоставление глубокого научного объяснения и поверхностного инженерного успеха. Хомский подчеркивает, что современные большие языковые модели (LLM), несмотря на их впечатляющие результаты, не продвигают нас в понимании человеческого разума. Он сравнивает их с бульдозерами: это мощные и полезные инструменты, созданные инженерами, но они не являются вкладом в биологию или физику. С точки зрения науки, успех системы, которая одинаково хорошо «выучивает» как реальные человеческие языки, так и абсолютно невозможные с точки зрения биологии структуры, не дает никакой информации о специфике человеческого когнитивного аппарата .

Инженерный успех против научного объяснения 3:33:12

Хомский непреклонен в своей оценке современных нейросетевых подходов: это «чудо инженерии», но «ноль в науке». Он проводит четкую границу между созданием полезного артефакта и поиском законов природы. Ранее в разговоре уже затрагивалась критика коннекционизма, но здесь философ подчеркивает абсурдность ситуации, когда огромные объемы вычислительной мощности и энергии тратятся на то, что «не имеет абсолютно никакого смысла» с исследовательской точки зрения .

Основные аргументы Хомского против рассмотрения LLM как моделей познания:

Отсутствие ограничений: Наука стремится понять, почему мир устроен именно так, а не иначе. Языковые модели же не имеют врожденных ограничений и могут обрабатывать любые статистические закономерности, что противоречит биологической реальности человеческого мозга .
Игнорирование структуры: Человеческий язык основан на иерархических структурах, а не на линейных последовательностях, которые анализируют модели.
Подмена понятий: Имитация поведения не является объяснением механизмов, порождающих это поведение.

Ведущие подкаста отмечают ироничность ситуации: для того чтобы восстановить поврежденную запись интервью с Хомским (о чем подробно говорилось в седьмой главе), им самим пришлось прибегнуть к сложнейшим инженерным методам и нейросетям. Это стало своего рода «чудом инженерии», которое, следуя логике Хомского, не является научным вкладом, но позволило сохранить его мысли для истории .

Универсальная грамматика как закон природы 3:26:09

Переходя к вопросам фундаментальной лингвистики, Ноам Хомский утверждает, что впервые за тысячи лет мы близки к пониманию того, что он называет «простейшим решением» природы для человеческого языка. Он постулирует, что язык и мышление — это, по сути, две стороны одной медали: мышление порождается языком, а язык — это то, что генерирует мысль .

Ключевым элементом здесь выступает Универсальная Грамматика (УГ), которую Хомский предлагает рассматривать как биологический закон, а не просто набор правил. Основные тезисы:

Принцип простоты: Природа всегда ищет простейшее решение. Для комбинаторной системы, такой как человеческий разум, простейшим решением является бинарное формирование множеств (Binary Set Formation) .
Зависимость от структуры: Самое глубокое свойство языка — это зависимость от структуры (а не от линейного порядка слов). Это свойство долго оставалось загадкой, но теперь оно объясняется тем, что мозг следует пути наименьшего сопротивления в рамках рекурсивного перечисления .
Теория контроля: Хомский приводит в пример «теорию контроля» (control theory) — систему, объясняющую тонкие различия в допустимости предложений, которые носители языка чувствуют интуитивно. Например, фраза «по одному переводчику кажется назначенным каждому дипломату» звучит корректно, в отличие от грамматически схожих, но недопустимых конструкций. Эти различия обусловлены тем, что природа выбрала максимально простое вычислительное решение .

Границы исследования: сознание, материя и нейробиология 3:21:59

Хомский затрагивает проблему детерминизма, отмечая парадокс: наука может работать с детерминизмом или случайностью, но она бессильна перед тем, что не является ни тем, ни другим — перед свободой воли и сознательным выбором . Он критикует современную философию за одержимость «трудной проблемой сознания». Вспоминая XVII век, он указывает, что тогда такой же «трудной проблемой» было движение. В итоге ученые просто перестали пытаться объяснить его внутреннюю суть и перешли к математическому описанию свойств движения .

В вопросе нейробиологического фундамента языка Хомский указывает на конкретные физиологические маркеры, отделяющие нас от других приматов:

Белое вещество: Недавние исследования показывают, что у людей, в отличие от обезьян, связи белого вещества между зонами Брока и Вернике становятся супермиелинизированными на ранних этапах развития .
Связь с аудиторной системой: У человека существуют уникальные нейронные пути, соединяющие речевые центры с аудиторной корой, которые отсутствуют у высших приматов .

Хомский сетует, что изучение этих вопросов ограничено этикой: мы не можем проводить на людях эксперименты с вживлением электродов в нейроны, как это делается с кошками или макаками . Тем не менее, он считает, что на границе между лингвистикой, физикой (включая вопросы о природе элементарных частиц ) и биологией лежат самые захватывающие тайны, которые человечество, возможно, способно разгадать, если перестанет тратить ресурсы на бессмысленные инженерные имитации.