Цензура, симметрии и тупик ИИ: манифест Педро Домингоса

Дайте профессору Педро Домингосу десять источников, из которых девять будут дезинформацией, и он найдет истину, но оставьте человечеству один «одобренный комитетом» источник — и оно будет обречено на слепоту. Известный ученый утверждает, что современная индустрия искусственного интеллекта зашла в тупик, слепо масштабируя метод обратного восстановления ошибки и пытаясь сгладить реальность непрерывной математикой. Настоящий прорыв к сильному интеллекту (AGI) лежит через признание Вселенной гигантским дискретным вычислением и переход к нейросимвольным методам, способным самостоятельно извлекать скрытые симметрии нашего мира.

🌌 Иллюзия консенсуса: почему цензура в ИИ опаснее ошибок Galactica 0:00

Критика ситуации с Galactica и этический патернализм 1:05

Разговор ведущего подкаста Machine Learning Street Talk Тима Скарфа (Tim Scarfe) и профессора компьютерных наук Педро Домингоса (Pedro Domingos) начинается с обсуждения громкого медийного скандала — релиза и быстрого отзыва языковой модели Galactica от компании Meta. Тим Скарф отмечает явную несправедливость рыночного восприятия: Meta приняла на себя колоссальный удар критиков, тогда как компания OpenAI практически в то же самое время выпустила бота ChatGPT, который страдал от аналогичных сбоев и склонности к «галлюцинациям», но избежал столь же масштабного общественного порицания.

Педро Домингос полностью соглашается с этой оценкой, заявляя, что шумиха вокруг Galactica сильно преувеличена, а сама система во многом безвредна. Как ученый, Домингос видит в подобных больших языковых моделях (LLM) мощный и полезный инструмент для академической работы, способный качественно помогать исследователям в обработке огромных массивов информации. Бурную негативную реакцию публики он считает классическим примером того, как люди паникуют и спешат с поспешными выводами относительно технологий искусственного интеллекта.

Впрочем, профессор признает, что создатели модели отчасти сами подставили себя под удар, значительно завысив ожидания аудитории в своих маркетинговых заявлениях. Главная уязвимость современных LLM заключается в их способности генерировать внешне убедительный, но фактически абсолютно ложный текст, а научные публикации — это худшее место на земле для демонстрации подобных ошибок. В погоне за конкурентами компании часто слишком стремятся выпустить максимально свободную демонстрационную версию. Тем не менее, решение Meta полностью отозвать модель Домингос называет малодушным и «патетичным». Тим Скарф добавляет, что существующие этические гайдлайны для LLM в основном разумны, но патернализм в вопросах борьбы с дезинформацией лишает пользователей отличных рабочих инструментов из-за чужих страхов.

Природа объективной истины и угроза монополии на информацию 5:11

Педро Домингос занимает жесткую позицию против цензурирования технологий. Он категорически против того, чтобы какая-то группа людей, комиссия или алгоритм решали за общество, что является дезинформацией, ограничивая на этом основании свободу слова. Профессор указывает на глубокое внутреннее противоречие: многие борцы с дезинформацией сами регулярно распространяют ложные нарративы, поскольку их восприятие продиктовано собственной жесткой идеологией. В демократическом обществе право и обязанность решать, что истинно, должны оставаться исключительно за самим человеком.

Главная опасность заключается вовсе не в обилии ложных сведений, циркулирующих в информационном пространстве. Настоящая катастрофа наступает тогда, когда в обществе формируется единственный, монолитный и безальтернативный источник правды. Домингос формулирует это через наглядную пропорцию:

«Дайте мне десять источников, девять из которых будут дезинформацией, и я смогу самостоятельно разобраться, сопоставить факты и выяснить, что из этого валидно. Но дайте мне только один источник, и в девяти случаях из десяти он сам окажется дезинформацией, против которой у меня просто не будет шансов».

Попытки искоренить ложь с помощью запретов — это опасный шаг назад. Человечеству не следовало бы заново вести средневековые битвы за свободу мысли в контексте социальных сетей и больших языковых моделей.

Тим Скарф поднимает философский вопрос об относительности сложных явлений и концепции эпистемической субъективности. Однако Домингос подчеркивает: идея о существовании «моей правды» и «твоей правды» деструктивна. Она дает людям карт-бланш верить в любые абстрактные домыслы, что приводит к плохим последствиям при принятии реальных решений. Профессор предлагает использовать научную гипотезу: объективная реальность и единая истина существуют, но они устроены невероятно сложно. Ни один человек не способен объять её целиком, поэтому обществу необходима широкая множественность независимых источников и наблюдателей. Объективное знание формируется там, где согласуются данные из разных независимых источников.

В связи с этим любые инициативы по созданию централизованных «комиссий по правде» на интернет-платформах вызывают у Домингоса тревогу. Такие структуры неизбежно скатываются к навязыванию собственной версии реальности. Это превращается в инструмент борьбы за власть и форму индустриального газлайтинга, призванного форматировать мышление людей через контроль над языком и механизмами коммуникаций. Даже если цензоры искренне верят в праведность своего дела, подобный патерналистский контроль остается глубоко токсичным.

Ранее в разговоре собеседники также вскользь упоминали концепцию универсального Мастер-алгоритма, обсуждали законы физики как вычислительный базис Вселенной, вели дискуссии о балансе рационализма и эмпиризма в обучении моделей, а также рассуждали о природе человеческого творчества, однако подробный анализ этих тем авторы закрепили за последующими главами материала.

🧩 Мастер-алгоритм на стыке вычислений и структуры реальности 25:23

Композициональность как основа единого подхода 28:15

Проблема создания искусственного интеллекта исторически страдала от жесткого разделения на изолированные лагери. В эпоху, предшествовавшую машинному обучению, исследователи пытались симулировать человеческое творчество с помощью жестких правил. Тим Скарф вспоминает о программах на языке Lisp, которые создавали музыкальные фрагменты, неотличимые от произведений Моцарта, путем простой рекомбинации существующих элементов. Этот пример иллюстрирует важный феномен: люди склонны антропоморфизировать любые системы, демонстрирующие признаки разума, проецируя на них сознание и креативность. Мы даже собственную свободу воли склонны воспринимать как изолированный «пузырь», оторванный от остального мира.

Однако за этим психологическим эффектом скрывается фундаментальный технический вопрос, который поднимают такие ученые, как Ноам Хомский и Гэри Маркус. Они утверждают, что традиционные нейросети являются лишь конечными автоматами и не способны полноценно оперировать бесконечными множествами, а значит, им критически необходима композициональность. Педро Домингос частично соглашается с этой критикой:

«Если бы меня попросили составить список из полдюжины вещей, абсолютно необходимых для интеллекта, композициональность точно была бы одной из них».

Тем не менее, профессор отвергает саму идею существования бесконечных множеств в реальном мире, называя бесконечность «опасным и запутывающим математическим инструментом». С точки зрения Домингоса, творчество и интеллект — это не выбор из бесконечности, а умение конструировать новые сложные смыслы из огромного, но конечного набора дискретных блоков. Истинный Мастер-алгоритм должен объединить восходящие (bottom-up) коннекционистские методы с нисходящими (top-down) символическими правилами, чтобы эффективно управлять этой композициональностью.

Вселенная как вычисление: информационный фундамент ИИ 30:25

Поиск единого алгоритма машинного обучения неизбежно выводит дискуссию на уровень метафизики и устройства мироздания. Педро Домингос убежден, что единственный способ построить подлинно великий объединенный Мастер-алгоритм — это взглянуть на всю Вселенную как на информацию. В этом контексте он разделяет знаменитую концепцию Джона Уилера «it from bit» («всё из бита») и взгляды Сета Ллойда, который метафорически называл Вселенную компьютером.

По мнению Домингоса, Вселенная — это непрерывный вычислительный процесс. При этом профессор делает важное методологическое предупреждение:

Информационный подход чрезвычайно продуктивен для построения единой теории ИИ.
Информация отражает лишь один из аспектов реальности, и, фокусируясь только на ней, мы неизбежно упускаем другие свойства материального мира.

В научном сообществе не прекращаются споры о том, является ли наш мир непрерывным или дискретным. И хотя детальный разбор цифровой физики Стивена Вольфрама, квантово-механических ограничений Скотта Ааронсона, а также биологической природы разума по Джону Сёрлю закреплен за следующими главами этой статьи, Педро Домингос здесь четко обозначает свою позицию. Он утверждает, что непрерывная математика — это лишь полезная фикция и удобное приближение. На самом глубоком, квантовом уровне реальность состоит из дискретных событий и смен состояний, которые по сути являются битами информации. Из этого следует, что Мастер-алгоритм, оперирующий дискретными структурами, фундаментально соответствует физической архитектуре нашей Вселенной.

Многомерная матрица: алгоритмы против функций полезности 42:44

Развивая тему универсального подхода, Тим Скарф задает ключевой вопрос: существует ли аналогия между поиском Мастер-алгоритма и тем, как системы координируют свои цели и функции полезности? Ответ Педро Домингоса открывает новое измерение в понимании ИИ. Он предлагает представить ментальную таблицу или матрицу: на одной стороне этой структуры расположены фундаментальные алгоритмы обучения (символические, эволюционные, нейросетевые), а на другой — различные функции полезности.

Любая комбинация в этой матрице валидна. Профессор решительно опровергает представление о том, что разумная система должна подчиняться одному жесткому оптимизатору. Даже человеческий мозг устроен иначе: с эволюционной точки зрения нашей высшей целью является выживание и передача генов, но на практике этот механизм реализован через ансамбль базовых эмоций. Страх, гнев или привязанность работают как независимые, зачастую конкурирующие друг с другом локальные функции полезности.

В реальном мире, где взаимодействуют множество агентов, чистая оптимизация уступает место теории игр. Независимо от того, рассматриваем ли мы Наполеона, отдающего приказы солдатам, или современные социальные институты, мы сталкиваемся со сложной системой переплетенных, частично противоречивых оптимизаций. Вопросы рациональности, меритократии и социальных исходов будут подробно разобраны в дальнейших частях статьи. Однако в контексте архитектуры ИИ вывод Домингоса однозначен: единый Мастер-алгоритм не может быть плоским монолитом. Это мета-система, способная оперировать многомерным пространством алгоритмов и гибко адаптироваться под спектр различных, постоянно меняющихся целей.

🌌 Природа Вселенной: между дискретностью и эмерджентностью 1:10:28

В своих рассуждениях о структуре мироздания Педро Домингос (Pedro Domingos) ставит под сомнение устоявшуюся веру в абсолютную редукционистскую картину мира. Разговор с Тимом Скарфом (Tim Scarfe) затрагивает фундаментальную проблему физики: насколько применимы наши текущие законы к сложным системам?

Домингос проводит различие между слабой и сильной эмерджентностью. Если слабая эмерджентность признает, что высокоуровневые явления (например, биология или социология) определяются фундаментальными уровнями, но слишком сложны для их прямого моделирования, то сильная эмерджентность подразумевает невыводимость высших законов из низших. С точки зрения Домингоса, хотя ученые склонны быть редукционистами, гипотеза о том, что всё в мире можно свести к законам физики в их нынешнем виде, остается лишь предположением.

Проблема усугубляется тем, что наши успехи в физике ограничены. Надевая «шляпу эксперта по машинному обучению», Домингос указывает на критический изъян: выборка данных, на которой валидировались законы физики, экстраординарно смещена в сторону простых систем. Сложные, хаотичные системы (например, в физике конденсированного состояния) демонстрируют явления, которые невозможно предсказать через квантовую механику — не потому, что теории неверны, а потому, что вычисления расходятся раньше, чем удается проверить результат. Поэтому, с практической точки зрения, зачастую эффективнее относиться к миру так, как если бы в нем существовала сильная эмерджентность.

🤖 Рациональность, утилиты и эволюция как фундамент 50:33

Педро Домингос подчеркивает важность математического подхода к социальным наукам, предсказанного еще Джоном фон Нейманом. Сегодня, благодаря изобилию данных, применение теории игр и математическое моделирование становятся наиболее продуктивными инструментами для понимания человеческого поведения.

Рациональность в этом контексте определяется как максимизация ожидаемой полезности. Домингос отвергает паникерские мысли о сценариях вроде «фабрики скрепок» (иллюстрация Ника Бострома), называя их нереалистичными философскими мысленными экспериментами. Реальная опасность заключается не в «сверхмощном» интеллекте, а в опасном сочетании огромной власти и чрезмерно упрощенных целевых функций.

Принципы взаимодействия человека с AI, по мнению профессора, должны быть следующими:

Богатство функций: Утилитарная функция AI должна быть такой же сложной, нюансированной и многогранной, как и само человеческое общество.
Итеративность: AI должен тратить значительную часть времени не на простое «выполнение» задачи, а на уточнение самой функции полезности, которая не является статичной.
Ограничения: В дополнение к оптимизации необходимо внедрять жесткие, «твердые» ограничения, которые AI не может переступить ни при каких условиях.

Домингос предлагает рассматривать технологию как «расширенный фенотип» человека, продолжающий биологическую эволюцию другими средствами. В этой картине мира функции полезности сами подвержены эволюции: они возникают, комбинируются и адаптируются в каждом следующем поколении.

🧬 Эволюционный взгляд на человечество 56:56

Развивая тему рациональности, Домингос предлагает смелый взгляд на место человека в эволюции. Ранее в беседе они уже касались природы истины и опасности монополии, а также темы «Мастер-алгоритма» [Главы 1 и 2].

В долгосрочной перспективе, утверждает Домингос, роль человека может заключаться в том, чтобы произвести AI как следующую ступень интеллекта и сознания. Он призывает не смотреть на людей как на конечную цель эволюции. Хотя попытки сделать человека «слугой» AI сегодня кажутся ужасающими, такая постановка вопроса — это следствие антропоцентризма, который с точки зрения глубокой истории Вселенной выглядит наивно. В то же время профессор активно защищает принципы эффективного альтруизма, полагая, что люди обязаны преодолевать свою «неправильную» эволюционную прошивку — например, чрезмерно высокий дисконтный коэффициент, заставляющий нас игнорировать будущее ради сиюминутных выгод.

🧬 Оптимизация общества и миф о бесконечности 1:16:44

В современной науке и экономике долгое время доминировало допущение о «независимых и одинаково распределённых данных» (IID). Однако Педро Домингос (Pedro Domingos) убеждён, что этот фундамент ошибочен: мир не состоит из изолированных сущностей . Общество, экономика и даже физические системы — это, прежде всего, сети взаимодействующих агентов. Весь «экшен», по мнению профессора, происходит именно в их связях и отношениях, а не в индивидуальных характеристиках.

Реляционализм и меритократия как задача оптимизации 1:17:39

Переход от классической экономики к пониманию общества как сложной сети меняет само определение социальных институтов. Домингос подчеркивает, что меритократия — это не просто иерархическая лестница или способ ранжирования людей по их способностям. В контексте реляционализма меритократия превращается в глобальный процесс поиска .

Это механизм определения оптимального места для каждого конкретного человека в социальной структуре. Цель этого процесса — максимизация совокупного вклада всех участников в благополучие общества. Как и в машинном обучении, где алгоритм ищет наиболее эффективную конфигурацию параметров, социальная оптимизация стремится распределить «человеческие узлы» так, чтобы их взаимодействие приносило наибольшую пользу системе.

Педро Домингос отмечает, что хотя классическая экономика была хорошим первым приближением, сегодня у нас есть вычислительные инструменты — такие как марковская логика — чтобы моделировать эти взаимодействия напрямую, не упрощая мир до набора атомарных агентов .

Рациональность: между антропоморфизмом и истиной 1:23:44

Тим Скарф (Tim Scarfe) поднимает вопрос о том, насколько наши модели мира ограничены человеческим восприятием. Мы привыкли понимать мир в макроскопических терминах, которые удобны нашему мозгу, но Домингос считает, что прогресс науки — это постепенный отказ от антропоморфизма .

Мир бесконечно сложен, а наши вычислительные ресурсы (и биологические, и кремниевые) всегда конечны .
Мы вынуждены не просто упрощать, а «переупрощать» реальность.
Искусство учёного — выбрать такие упрощения, которые наносят минимальный ущерб итоговой цели (функции полезности).

Профессор защищает концепцию максимизации ожидаемой полезности как один из самых «не-антропоморфных» способов взаимодействия с реальностью. Если рациональность — это максимизация полезности в условиях неопределённости, то игнорировать эту неопределённость было бы верхом неразумности . В этом смысле ИИ-алгоритмы являются инструментами для более точного моделирования реальности, свободного от человеческих эвристик, которые эволюция заложила в наш мозг для выживания, но которые часто становятся помехой для чистого познания .

Почему бесконечности не существует 1:33:43

Одной из самых радикальных идей Педро Домингоса в этом разговоре становится полное отрицание бесконечности. Он утверждает, что «бесконечность» — это не число и не физическая реальность, а всего лишь удобное математическое сокращение .

«К сожалению, многие теоретики, включая специалистов по информатике, поощряют это заблуждение», — заявляет Педро . Он приводит в пример иерархию Хомского: если у машины Тьюринга конечная лента, она превращается в конечный автомат. Поскольку любой компьютер и сама Вселенная, скорее всего, ограничены в ресурсах, все рассуждения о бесконечной памяти или бесконечных вычислениях лишены практического смысла.

Домингос выделяет несколько ключевых пунктов своего «финитизма»:

Математическая фикция: В исчислении предел при стремлении к бесконечности означает лишь то, что число стало настолько большим, что его дальнейшее увеличение не меняет результат .
Проблема вещественных чисел: Профессор называет вещественные числа (с их бесконечной точностью) «чудовищным» понятием, не имеющим аналогов в реальности . На компьютере любая точность ограничена памятью.
Иллюзия богатства: Илон Маск «бесконечно» богат не потому, что у него бесконечное количество денег, а потому, что разница между 100 и 200 миллиардами долларов никак не влияет на то, что он может купить на обед .

Этот взгляд напрямую влияет на разработку новых архитектур. Педро кратко упоминает, что его текущая работа над тензорной логикой (tensor logic) призвана объединить символьный ИИ и глубокое обучение без использования «химер» бесконечных пространств . Ранее в разговоре собеседники касались природы физической реальности, и здесь Педро развивает эту мысль: если всё в мире дискретно и конечно, то и наши модели интеллекта должны строиться на этом фундаменте.

🤖 AI-алгоритмы как инструменты, а не субъекты 1:40:44

Современные дискуссии вокруг искусственного интеллекта часто грешат избыточной антропоморфизацией, представляя алгоритмы как независимых агентов, способных «захватить мир». Однако детальный разбор математического фундамента ИИ показывает, что любые нейросети или символьные системы остаются строго детерминированными инструментами оптимизации. Как подчеркивает Педро Домингос (Pedro Domingos), риски технологической сингулярности преувеличены, пока архитектура систем полностью подчинена проектируемым человеком функциям полезности и жестким математическим ограничениям.

Дискретная реальность градиентного спуска и иллюзия непрерывности 1:43:57

В основе современного коннекционистского ИИ лежит метод градиентного спуска, который традиционно описывают через призму непрерывного математического анализа. Ведущий подкаста Тим Скарф (Tim Scarfe) замечает, что сторонники непрерывного субстрата обычно апеллируют к механизмам обучаемости и стохастическому градиентному спуску. Однако Педро Домингос развенчивает этот миф: градиентный спуск в компьютере принципиально не является алгоритмом непрерывной оптимизации. Действительные числа на цифровых носителях имеют конечную разрядность, поэтому алгоритм делает исключительно дискретные шаги. Базовое предположение математического анализа об бесконечно малых апдейтах (infinitesimal updates) в реальности полностью нарушается. В машинном обучении мы постоянно сталкиваемся с фундаментальным несовпадением концептуальной непрерывной модели пространства и дискретной реальности компьютера.

Сила градиентного спуска заключается не в мифической непрерывности, а в наличии замкнутой формы (closed-form way) для вычисления наилучшего направления движения. Это избавляет систему от необходимости пошагово перебирать все соседние точки, что требовало бы огромного количества времени. Педро называет эту концепцию «блестящей идеей Ньютона и Лейбница». Платой за удобство становится аппроксимация: дифференциальное исчисление предполагает, что эффекты второго порядка можно игнорировать. Но при обучении больших глубоких сетей эти конечные шаги при любой разумной скорости обучения оказываются настолько велики, что накопленная погрешность аппроксимации полностью перекрывает сам шаг. Следовательно, ключевое допущение математического анализа здесь ложно, а поразительная эффективность алгоритма во многом объясняется тем, что стохастический градиентный спуск (SGD) по сути выполняет стохастический поиск.

В подтверждение дискретно-математической природы этих процессов Педро ссылается на собственное доказательство: любая модель, обученная с помощью градиентного спуска, эквивалентна ядерной машине (kernel machine). Речь идет о так называемом «путевом ядре» (path kernel), представляющем собой интеграл нейронного тангенциального ядра (Neural Tangent Kernel, NTK) вдоль траектории оптимизации. В отличие от классической теории NTK, концепция Домингоса не требует допущения о бесконечной ширине сети и прекрасно работает для любых конечных архитектур. Ценность непрерывных пространств кроется не в континууме, а в локальной структуре (locality structure), которую можно эффективно эксплуатировать.

Ранее в разговоре собеседники уже касались темы физики Вселенной и дилеммы дискретности и непрерывности пространства. Педро проводит параллель с компьютерным зрением: ранние попытки строить распознавание образов исключительно на дифференциальных уравнениях и анализе Фурье провалились. Успех пришел только с переходом к дискретным сеткам вроде марковских случайных полей и глубокому обучению, способным адекватно обрабатывать резкие разрывы и нелинейности. Это еще раз доказывает: ИИ — это дискретный инструмент для аппроксимации паттернов, а не мыслящий субъект.

Механизмы индукции: как алгоритмы формируют абстракции 1:53:28

Другим важным аспектом, исключающим независимую агентность ИИ, является прагматическая природа формирования абстракций. В традиционном символьном подходе знания задавались вручную, тогда как современный ИИ требует динамического извлечения абстракций «на лету». Педро Домингос критикует точку зрения, согласно которой абстракции выводятся исключительно дедуктивно из жестко заданных априорных правил (как в работе Яна Лекуна об автономных системах). Если абстракция строится только на дедукции, такое понимание является крайне обедненным.

Большая часть индуктивного обучения — это тривиальное по своей сути сжатие информации. Педро приводит наглядный пример: если объект изначально описывается тысячей атрибутов, а алгоритм выводит правило, использующее всего десять, то остальные 990 параметров просто отбрасываются — это и есть математическая абстракция. Для демонстрации разницы между символьным обучением и коннекционистскими моделями Домингос предлагает простой тест со строками: если подать на вход последовательность символов «aaaaaa» длиной до миллиона или гугола элементов, человек мгновенно выведет грамматическое правило. Глубокие же нейросети испытывают колоссальные трудности с решением столь элементарной задачи индукции.

Хотя детальное рассмотрение обучения симметриям из данных и геометрического глубокого обучения закреплено за седьмой главой, Педро упоминает свои недавние дискуссии с Максом Веллингом (Max Welling) и Тако Коэном (Taco Cohen). Он указывает, что современное применение теории групп в ИИ пока слишком хрупко. Чтобы преодолеть эту жесткость, необходимо объединить теорию симметрий со статистикой и оптимизацией, рассчитывая вероятностные пути с минимальной стоимостью (cost-minimizing paths). Любые подобные усложнения лишь расширяют математический инструментарий разработчика, но не превращают код в независимое существо.

Многоликое смещение: от статистических кривых до априорных знаний 2:01:33

Ключевым инструментом настройки ИИ-систем остается управление дилеммой смещения-дисперсии (bias-variance trade-off). Педро подчеркивает, что эта концепция фундаментальна: модели, эффективно работающие на малых объемах данных, оказываются бесполезными на больших выборках. Исторически глубокое обучение долгое время игнорировалось именно потому, что исследователи тестировали его на небольших массивах информации и слепо верили в упрощенную версию Бритвы Оккама, согласно которой простота всегда гарантирует точность.

Проблема усложняется тем, что сам термин «смещение» (bias) в современном дискурсе фатально перегружен. Педро Домингос выделяет четыре принципиально разных значения этого слова, которые часто ошибочно смешивают в кучу:

Статистическое смещение (в рамках классической дилеммы bias-variance);
Психологическое смещение (описанное в когнитивных работах Даниэля Канемана);
Социологическое смещение (расовые, гендерные и социальные предвзятости в данных);
Индуктивное смещение (inductive bias в машинном обучении).

В контексте инженерии ИИ под индуктивным смещением понимается строго математическое предпочтение одних моделей другим, то есть априронные знания (priors) или ограничения, закладываемые создателем алгоритма. Задача разработчика — подобрать такие априорные предпочтения, которые идеально соответствуют структуре реального мира или конкретной предметной области. Это позволяет перевести алгоритм на более качественную кривую компромисса между статистическим смещением и дисперсией, снижая общую ошибку аппроксимации. Таким образом, поведение ИИ полностью диктуется математическими весами и заложенными человеком прайорсами, оставляя разговоры о «собственных намерениях» машин фантастам.

В завершение Педро Домингос делится личными впечатлениями от масштабов современной науки на примере конференции NeurIPS. В ранние годы существования этого научного форума профессор мог лично изучить названия и аннотации абсолютно всех представленных работ. Сегодня же NeurIPS превратился в колоссальный конгломерат, где физически невозможно обойти даже одну постерную сессию до самого конца. Этот взрывной рост публикаций отражает масштаб индустрии, занятой созданием все более сложных, но по-прежнему сугубо прикладных вычислительных инструментов.

🧠 Нейросимвольный подход к будущему AI 2:08:53

Несмотря на колоссальные успехи нейронных сетей, Педро Домингос (Pedro Domingos) и Тим Скарф (Tim Scarф) сходятся во мнении, что современное состояние AI находится в состоянии «застоя» из-за избыточной концентрации на узком подмножестве глубокого обучения. Домингос отмечает, что сегодня около 90% исследований в области AI сводятся к «приложениям обратного распространения ошибки» (backprop). Это приводит к накоплению бесконечного числа микро-улучшений, которые, по сути, являются лишь глубоким погружением в локальные оптимумы. Чтобы достичь человеческого уровня интеллекта и преодолеть текущие ограничения, индустрии необходимо радикально изменить подход — перейти от статистической аппроксимации к объединению нейронных сетей с символьными рассуждениями в единый, логически строгий формализм.

От «Deep» к новому мастер-алгоритму 2:11:41

Исторический путь конференций вроде NeurIPS иллюстрирует циклическую смену доминирующих парадигм: от нейронных сетей 80-х к «кернельным» методам 2000-х и нынешней эре глубокого обучения. Педро Домингос иронично называет текущую декаду эпохой «DIPS» (Deep Information Processing Systems). Однако профессор подчеркивает, что этот успех — не финал. Мы все еще находимся в поиске «настоящего» мастер-алгоритма, который пока не открыт. Инновации, подобные изобретению обратного распространения ошибки Дэвидом Румельхартом, начинались с теоретических изысканий на малых примерах, и сегодня именно такие фундаментальные архитектурные исследования, а не простое масштабирование, являются ключом к прорыву.

Ограниченность текущих архитектур и композиционность 2:30:32

С точки зрения анализа того, что именно могут представлять собой трансформеры, Педро Домингос указывает на важную проблему: их текущая способность к композиционности крайне ограничена по сравнению с классическим логическим программированием. В то время как обычные многослойные перцептроны и многие алгоритмы обучения справляются с задачами лучше, чем простая статистическая имитация («стохастические попугаи»), им всё равно не хватает способности к полноценному символьному выводу. Для создания действительно интеллектуальных систем, способных решать сложные задачи (которые Домингос определяет как NP-полные проблемы, решаемые с помощью эвристик), необходимо интегрировать нейронную способность к обучению с мощью символьной логики, обеспечивающей прозрачность и структурную глубину.

🧠 Обучение симметриям и эвристики: природа истинного интеллекта 2:30:45

В завершающей части беседы Педро Домингос и Тим Скарф обращаются к фундаментальному вопросу: что именно мы называем интеллектом в контексте машинного обучения и каковы механизмы, позволяющие алгоритмам выходить за пределы простого сопоставления паттернов. Обсуждение затрагивает как философские определения сложности задач, так и глубокие математические принципы работы нейронных сетей, такие как обобщение в искривлённых пространствах и поиск внутренних симметрий данных.

Определение интеллекта через NP-трудность 2:39:21

Педро Домингос предлагает строгое математическое определение: интеллект — это способность решать NP-полные задачи с помощью эффективных эвристик . В информатике класс задач NP характеризуется тем, что их решение сложно найти, но крайне легко проверить на правильность .

Профессор проводит четкую границу между «узким» и «общим» искусственным интеллектом (AGI):

Узкий интеллект: способность эффективно решать одну конкретную NP-полную задачу.
Общий интеллект (AGI): способность справляться с безграничным разнообразием таких задач, используя универсальные подходы к поиску решений .

Домингос подчеркивает: если система выдает ответ, который невозможно проверить, мы не можем с уверенностью сказать, разумна она или нет . Интеллект проявляется именно там, где есть проверяемый критерий успеха в условиях комбинаторного взрыва вариантов. В этом контексте критика «стохастических попугаев» (термин Эмили Бендер) кажется Педро необоснованной, так как она игнорирует сам факт обобщения. Как только алгоритм начинает корректно работать на данных, которых не было в обучающей выборке, он перестает быть «попугаем» и начинает демонстрировать зачатки интеллекта .

Глубокое обучение как «метод ближайшего соседа в искривлённом пространстве» 2:42:13

Развивая тему обобщения, Домингос предлагает метафору: современные глубокие нейросети — это, по сути, «прославленный метод ближайшего соседа», но действующий в искривлённом пространстве . В отличие от классических методов, которые используют фиксированную метрику расстояния, нейросети искажают и трансформируют само пространство данных (data manifold), чтобы сделать похожие объекты ближе друг к другу в латентном представлении .

Ключевые аспекты этого процесса:

Трансформация пространства: Сеть «сжимает» и «растягивает» входные данные, упрощая задачу для финального слоя .
Обобщение через градиенты: Использование «путевых ядер» (path kernels) позволяет модели находить сходства не только в исходных признаках, но и в пространстве градиентов, что дает возможность экстраполировать знания далеко за пределы обучающих примеров .
Пример с синусоидой: Обычный метод ближайшего соседа никогда не выучит синусоиду без бесконечного количества данных. Однако нейросеть, способная трансформировать пространство в «пространство наклонов» (производных), может идеально предсказать поведение функции на много циклов вперед, увидев лишь небольшой фрагмент .

Это подводит к дискуссии о критике Гари Маркуса, который ранее в разговоре упоминался как сторонник символьных методов. Педро отмечает, что хотя Маркус прав относительно важности композициональности, он часто недооценивает способность нейросетей к экстраполяции за счет обучения правильным базисным функциям .

Будущее AI: автоматическое обнаружение симметрий 2:47:52

Одной из самых перспективных областей Педро Домингос считает переход от ручного проектирования индуктивных смещений (priors) к автоматическому обучению симметриям из самих данных . Ранее в обсуждении затрагивались темы рациональности и эволюции, и здесь этот контекст проявляется в том, как модель адаптируется к структуре реальности.

Домингос выдвигает сильный тезис: «Объект — это просто сумма его симметрий» . Если алгоритм способен идентифицировать все симметрии функции или объекта, он, по определению, полностью описывает этот объект.

В современном машинном обучении существует дилемма:

Ручной ввод: Мы можем заложить инвариантность (например, к сдвигу в сверточных сетях) в архитектуру, что резко снижает потребность в данных .
Автоматическое обнаружение: Будущее за моделями, которые сами понимают, какие трансформации среды оставляют суть данных неизменной.

Педро резюмирует, что если мы дадим алгоритму способность эффективно находить симметрии в разных кластерах пространства, нам может понадобиться всего один размеченный пример для обучения сложным концептам . Именно в этой гибкости — способности не просто использовать жестко заданные правила, а извлекать математическую структуру мира из хаоса данных — и заключается путь к созданию по-настоящему мощного искусственного интеллекта .