В очередном выпуске подкаста Machine Learning Street Talk ведущий Тим Скарфе и исследователь Кит Даггер обсуждают фундаментальные вопросы философии искусственного интеллекта и границы современных вычислительных систем. В центре дискуссии — знаменитый мысленный эксперимент Джона Сёрла «Китайская комната», проблема подлинного понимания семантики машинами, а также необходимость рефрейминга дебатов об экзистенциальном риске ИИ. Авторы пытаются разобраться, почему классические философские дилеммы не только не теряют актуальности, но и становятся главным вызовом для создателей современных больших языковых моделей.
🧠 Вычислительные абстракции против физической реальности 0:00
Дискуссия начинается с констатации фундаментального разрыва между математическим описанием явления и его физическим воплощением. По мнению Кита Даггера, абстрактные модели принципиально не способны полностью воссоздать реальность: математическая модель черной дыры не поглощает окружающую материю, а компьютерная симуляция шторма не способна вызвать настоящий дождь. Этот же разрыв, как считает исследователь, существует между вычислительными процессами, имитирующими человеческий разум, и самим разумом.
Основная техническая проблема современных больших языковых моделей (LLM) кроется в их архитектурных ограничениях. Кит Даггер заявляет, что стандартные авторегрессионные модели ИИ с фиксированным контекстным окном не являются Тьюринг-полными в строгом математическом смысле. Тим Скарфе, однако, указывает на практическую сторону вопроса: современные нейросети способны успешно генерировать исполняемый код на языке Python, что позволяет им эффективно преодолевать жесткие теоретические рамки.
Различие между классической машиной Тьюринга и коммерческими ИИ-системами во многом сводится к принципам работы с памятью. Машина Тьюринга представляет собой конечный автомат, подключенный к потенциально бесконечной ленте для чтения и записи. Кит Даггер предлагает разделять два типа бесконечности:
- Потенциальная бесконечность: процедура или алгоритм, которые теоретически могут продолжаться неограниченно долго, но никогда не достигнут абсолютного финала, как, например, течение времени во Вселенной.
- Актуальная бесконечность: гипотетический регистр компьютера, способный мгновенно оперировать бесконечным объемом данных и выполнять бесконечную работу за один фиксированный квант времени.
На сегодняшний день инженеры умеют создавать лишь системы с потенциально расширяемой памятью, тогда как актуальная бесконечность в железе остается недостижимой абстракцией.
🛑 Проблема останова и ограничения градиентного спуска 8:38
В рамках дискуссии затрагивается вопрос о том, как функционирует человеческий мозг при взаимодействии с абстракциями. По мнению Кита Даггера, мозг можно условно рассматривать как конечный автомат, который управляет алгоритмами машины Тьюринга, активно используя внешние инструменты (например, бумагу или компьютеры) для расширения своей памяти.
Тим Скарфе приводит в пример технологию RAG (Retrieval-Augmented Generation), которая активно применяется в индустрии (в частности, в моделях компании Cohere) для динамического расширения контекста за счет внешних баз данных. По словам Скарфе, такие модели фактически имитируют расширение памяти, извлекая информацию извне и отправляя ее обратно в контекст по мере генерации текста.
Однако Кит Даггер возражает, подчеркивая, что в текущих реализациях RAG отсутствует замкнутый цикл: модель может читать из базы данных, но не осуществляет полноценную двустороннюю непрерывную перезапись в один и тот же безграничный накопитель. Если же изменить архитектуру и создать систему с полноценным замкнутым циклом «чтения-записи», инженеры неизбежно столкнутся со знаменитой проблемой останова.
По мнению Даггера, обучение истинно Тьюринг-полных алгоритмов с помощью стохастического градиентного спуска (SGD) на данный момент невозможно по ряду причин:
- Неопределенное время работы: Тьюринг-полный алгоритм должен самостоятельно решить задачу и выдать токен остановки, но в процессе обучения система может зациклиться.
- Дилемма разработчика: если алгоритм выполняется слишком долго, исследователь на этапе обучения не знает, продолжить ли вычисления или принудительно остановить процесс, уничтожив результаты текущей итерации.
Именно из-за этих фундаментальных барьеров все эмпирические попытки обучить подобные замкнутые системы пока оборачивались неудачей.
🧩 В поисках фундаментальных примитивов: от Хомского до Шолле 18:53
Для преодоления тупика в обучении Тьюринг-полных систем собеседники предлагают обратиться к альтернативным парадигмам. Тим Скарфе ссылается на «калейдоскопическую гипотезу» Франсуа Шолле, согласно которой вселенная состоит из базовых априорных принципов, а интеллект занимается тем, что деконструирует сложные феномены обратно до этих примитивов. Эта идея тесно связана с нативизмом Ноама Хомского о врожденных когнитивных структурах человеческого разума.
Кит Даггер выражает поддержку концепции Валида Саббаха, который предлагает использовать универсальные семантические шаблоны и грамматики для генерации эффективных алгоритмов. По мнению Даггера, долгосрочное развитие искусственного интеллекта пойдет по пути гибридизации. Через 50 лет ИИ-системы, скорее всего, будут состоять из трех компонентов:
- Обучаемые нейросетевые блоки, созданные с помощью привычного градиентного спуска.
- Символьные компоненты, созданные методами программного синтеза и дискретного поиска.
- Архитектурные элементы, жестко спроектированные инженерами-людьми для обеспечения интероперабельности.
Такой подход позволит отойти от неэффективного наращивания вычислительных мощностей дата-центров и вернуться к идеям функционализма.
🚪 «Китайская комната» Джона Сёрла: главное недоразумение столетия 30:52
Центральной темой беседы становится обсуждение бурных споров вокруг знаменитого мысленного эксперимента философа Джона Сёрла «Китайская комната». Кит Даггер заявляет, что Сёрл является едва ли не самым неверно понятым философом современности, а суть его аргумента искажается в 99% дискуссий в интернете.
Главное заблуждение критиков заключается в обвинении Сёрла в том, что он якобы отрицает саму возможность мыслящих машин. Даггер подчеркивает, что Сёрл утверждает прямо противоположное: только машины и способны мыслить, а человеческий мозг является ярким примером биологической машины. Философ лишь настаивает на том, что для истинного понимания и интенциональности необходим субстрат, обладающий адекватной каузальной (причинно-следственной) структурой.
Для иллюстрации Кит Даггер кратко напоминает суть оригинального эксперимента: человек, не знающий китайского языка, сидит внутри изолированной комнаты с набором громоздких книг-инструкций. Извне под дверь подбрасывают иероглифы. Следуя чисто механическим правилам, человек сопоставляет символы и выдает осмысленные ответы на китайском языке, успешно проходя тест Тьюринга.
Комната со стороны кажется понимающей, но сам человек внутри не осознает ни единого слова. Он может выдать правильную реакцию на шутку, но ему не будет смешно. По мнению Сёрла, чисто синтаксические манипуляции с символами принципиально оторваны от семантики и подлинного ментального опыта.
Тим Скарфе дополняет эту мысль позицией профессора Джей Марка Бишопа, который на протяжении 30 лет исследовал этот феномен. Бишоп утверждает, что между чисто вычислительными процессами и человеческим разумом существует непреодолимый онтологический разрыв (humanity gap). Любая вера в «сильный ИИ», способный обрести сознание исключительно за счет правильного программирования, по мнению Бишопа, носит квазирелигиозный характер.
🌊 Возникновение сознания и феномен эмерджентности 49:51
Размышления о природе разума неизбежно сталкиваются со сложной концепцией эмерджентности. Кит Даггер признает, что считает реальными как слабую, так и сильную формы эмерджентности, несмотря на доминирующий среди современных физиков жесткий редукционизм.
Разница между этими типами явлений принципиальна:
- Слабая эмерджентность: возникновение у сложной системы новых динамических свойств, которые физически следуют из законов взаимодействия ее частей, но сложны для прямого вычисления (например, гидродинамические вихри или Большое красное пятно Юпитера).
- Сильная эмерджентность: появление макроповедения, которое принципиально невозможно аналитически вывести или логически дедуцировать из свойств фундаментальных частиц, сколько бы вычислительных мощностей у нас ни было.
Даггер напоминает, что даже философ Дэвид Чалмерс признавал сознание, возможно, единственным подлинным примером сильной эмерджентности в известной нам Вселенной. В качестве альтернативного взгляда Тим Скарфе приводит концепцию Стивена Вольфрама о «вычислительно ограниченном наблюдателе». С точки зрения Вольфрама, все наши научные теории и законы физики являются лишь «артефактами сжатия», поскольку возможности человеческого мозга как наблюдателя ничтожно малы по сравнению с колоссальным масштабом вычислений самой Вселенной.
🧚 Танцы с пикси и каузальная глубина 59:10
В попытках формализовать субъективный опыт Кит Даггер обращается к гипотезе Карла Фристона. Фристон полагает, что сознание и самоосознание возникают тогда, когда система приобретает достаточную «темпоральную и контрфактическую глубину». Это означает, что машина должна обладать телеметрией собственных вычислений и уметь прогнозировать альтернативные варианты своих действий в прошлом и будущем.
Однако пользователи в Discord-сообществе под ником Cog champ выдвинули серьезное возражение: глупо утверждать, что у компьютеров нет каузальной структуры, ведь транзисторы физически меняют заряды, тактовые частоты задают ритм, а алгоритмы обладают огромной причинно-следственной силой в человеческом мире.
Кит Даггер соглашается с этим замечанием, но уточняет позицию Сёрла: компьютер действительно имеет каузальную структуру, но она создана для выполнения сугубо математических расчетов. Шанс того, что архитектура кремниевых транзисторов случайно совпадет с уникальной каузальной структурой, необходимой для генерации интенциональности и живого ума, астрономически мал.
В качестве радикального подтверждения этого тезиса приводится знаменитое доказательство Джей Марка Бишопа «Танцы с пикси» (Dancing with Pixies), развивающее идеи философа Хилари Патнэма. Бишоп доказывает, что если бы ментальные состояния были продуктом чистого выполнения программы, то шаги этой программы можно было бы математически спроецировать на тепловые колебания атомов любого статического объекта — например, обычного камня. Это привело бы к абсурдному панпсихизму, согласному которому сознание находится везде, а «маленькие пикси танцуют повсюду».
Главный контраргумент Кита Даггера против этой аналогии заключается во временном факторе: такое проецирование возможно лишь на конечном отрезке времени. Стоит добавить к временной шкале микроскопическое значение эпсилон, как траектории динамики камня и реального мозга мгновенно разойдутся, обнажая отсутствие истинной причинно-следственной структуры в неодушевленном объекте.
🏅 Нобелевская премия Хинтона и кризис академической науки 1:19:40
В заключительной части беседы авторы затрагивают тему присуждения Нобелевской премии по физике Джеффри Хинтону и Джону Хопфилду. Кит Даггер признается, что не считает себя вправе судить о корректности выбора Нобелевского комитета, но отмечает, что современная академическая среда глубоко поражена внутренними политическими интригами, борьбой за гранты и кумовством.
Тим Скарфе указывает на скепсис со стороны научного сообщества: многие физики считают методы глубокого обучения слишком тривиальными с точки зрения фундаментальной науки и сомневаются, что они дают новые знания об устройстве Вселенной. Ноам Хомский также утверждал, что большие языковые модели не являются полноценными научными теориями, так как они ничего не объясняют.
Тем не менее, Даггер видит в успехе ИИ глубокие загадки, граничащие с физикой. Например, до сих пор остается большим вопросом, почему избыточно параметризованные (hyper-overparameterized) модели способны к генерализации и не уходят в абсолютное переобучение. Возможно, разгадка этого феномена прольет свет на «непостижимую эффективность математики» в нашем мире.
Параллельно Тим Скарфе упоминает Демиса Хассабиса, получившего премию за прорыв в предсказании структуры белков с помощью AlphaFold. Технология признана революционной, однако крупные корпорации (например, Google) уже используют эти награды в судебных тяжбах по авторским правам, заявляя о своем юридическом иммунитете благодаря признанию их топ-ученых на мировом уровне.
🛡️ От экзистенциального страха к реальному вреду: рефрейминг безопасности ИИ 1:29:21
Обсуждая экзистенциальные угрозы ИИ, Кит Даггер упоминает, что в рамках прошлых дебатов оценивал вероятность гибели человечества от рук сверхразума в 25%. Однако сегодня он призывает радикально изменить вектор дискуссии и сместить фокус с фантастических сценариев «Судного дня» на концепцию текущего повседневного вреда (AI Harm или I-harm).
По мнению Даггера, спекулятивная философия мешает формированию адекватной государственной политики. Вместо того чтобы пугать общество нанороботами, необходимо решать осязаемые проблемы:
- Массовая технологическая безработица и обесценивание человеческого труда.
- Психологический вред для детей, вызванный алгоритмами удержания внимания социальных сетей.
- «Умственная деградация» из-за бесконечного потребления контента с нулевой интеллектуальной ценностью.
Тим Скарфе поддерживает эту позицию, ссылаясь на работу Дагмар Монне «Деконструкция мифа об ИИ: заблуждения и вред алгоритмической фантастики». Скарфе также упоминает идеи Лучано Флориди о миграции человеческой идентичности в виртуальную «инфосферу», где технологии становятся безальтернативным условием для выживания, постепенно лишая человека субъектности и агентности.
В конечном счете, как резюмирует Кит Даггер, государственное регулирование должно ориентироваться не на абстрактную технократию, а на обеспечение базового человеческого благополучия и процветания.
