# Педро Домингос: «Современный успех ИИ — это локальный оптимум, а не финал» Источник: https://www.youtube.com/watch?v=sT64h0VjEPI Канал: Eye on AI Опубликовано: 17.04.2025 --- В новом эпизоде подкаста «Eye on AI» Педро Домингос, профессор Вашингтонского университета и автор бестселлера «Верховный алгоритм», анализирует историю и перспективы коннекционизма — доминирующей сегодня школы машинного обучения. Он объясняет, почему современный успех нейросетей может быть лишь «локальным оптимумом» и как конкуренция за гранты и внимание инвесторов заставляет исследователей двигаться в узком коридоре одних и тех же идей. ## 🧠 Суть коннекционизма: реверс-инжиниринг мозга [[JUMP:09:03]] Коннекционизм — одна из старейших парадигм в искусственном интеллекте, зародившаяся еще в 1940-х годах. Основная идея этой школы, по словам Домингоса, заключается в попытке скопировать природный интеллект. «Мы хотим построить разумные машины. Что мы знаем из того, что уже разумно? Людей и, в частности, человеческий мозг» [09:42]. Как утверждает профессор, коннекционисты действуют как инженеры, пытающиеся разобрать автомобиль конкурента (например, Toyota разбирает Ford), чтобы понять, как он устроен: * **Начало пути:** В 1940-х вышла работа Маккалоха и Питтса — модель нейронов, которая легла в основу современной компьютерной архитектуры [10:22]. * **Ирония прогресса:** Домингос подчеркивает, что современные процессоры, не имеющие отношения к ИИ, созданы на базе тех же моделей, имитирующих нейроны. Разница лишь в том, что в 50-х эти «нейроны» были просто логическими вентилями и не умели учиться [11:02]. * **Перцептрон:** Франк Розенблатт в 1950-х представил первый обучаемый нейрон. Это вызвало первый в истории ИИ масштабный хайп — New York Times тогда писала, что человеческий интеллект будет достигнут совсем скоро [11:40]. ## 📉 Циклы забвения: от уничтожения Минским до триумфа Deep Learning [[JUMP:12:34]] История коннекционизма полна драматических падений. По мнению Домингоса, наиболее сильный удар по школе нанесли Марвин Минский и Сеймур Паперт. В своей книге 1969 года «Перцептроны» они математически доказали ограничения простых нейросетей [12:34]. Последствия этого научного труда были катастрофическими для дисциплины: 1. Интерес к нейросетям упал «камнем» на следующие 15 лет [12:46]. 2. Консенсус 70-х состоял в том, что обучение машин не работает, и нужно заниматься «инженерией знаний» [13:00]. 3. В 1980-х произошел возврат благодаря алгоритму обратного распространения ошибки (Backpropagation), но он снова уперся в то, что обучение работало только с одним скрытым слоем [14:05]. Настоящий прорыв, который Домингос называет скорее маркетинговым, чем фундаментально научным, случился с появлением термина «глубокое обучение» (Deep Learning). Джефф Хинтон, Ян Лекун и Йошуа Бенжио стали «упертыми идеалистами», которые продолжали работу, когда все остальные отвернулись от нейросетей [14:18]. ## 🔄 Алгоритм Backprop: как ИИ «распределяет вину» [[JUMP:14:48]] Центральная проблема, которую решает коннекционизм, — это «назначение веса вины» (credit assignment problem). Домингос объясняет это на примере: если сеть должна отличить кошку от собаки, но ошибается, как понять, какой именно из миллионов нейронов внутри системы виноват в ошибке? [15:26]. Алгоритм обратного распространения ошибки (Backprop) дает простой ответ: * Сначала делается прямой проход (инференс) от данных к результату [19:44]. * Затем вычисляется ошибка на выходе и сеть идет обратно через слои, последовательно корректируя веса соединений [20:11]. * Как иронично замечает Ян Лекун, по сути, это просто «правило цепочки» из математического анализа Лейбница [18:48]. Домингос раскрывает закулисную историю Backprop: алгоритм переоткрывали около 20 раз. Он существовал у теоретиков управления в 60-х, у экономистов из Гарварда в 70-х, и даже в 80-х статьи с ним отклонялись рецензентами со словами: «Минский и Паперт доказали, что это не работает» [18:08]. ## 🚀 Революция Vision и тайна «30-миллионного интерна» [[JUMP:22:49]] Долгое время сообщество специалистов по компьютерному зрению (Computer Vision) скептически относилось к нейросетям, считая их лишь инструментом для распознавания цифр [23:03]. Ситуацию изменил звонок Джеффа Хинтона к «папе компьютерного зрения» Джитендре Малику [23:29]. Ключевыми факторами успеха AlexNet в 2012 году стали: 1. **Датасет ImageNet:** Миллион примеров, собранный Фей-Фей Ли [23:42]. 2. **GPU:** Использование графических процессоров позволило обучать сети такого масштаба [24:21]. Домингос вспоминает историю студента Хинтона — Навдипа Джайтли. Ларри Пейдж называл его «30-миллионным интерном», а Хинтон считает его «миллиардным интерном». Летом в Google Джайтли за три месяца обошел результаты сотен инженеров, годами разрабатывавших системы распознавания речи, просто применив глубокое обучение [22:11]. ## ✨ Трансформеры и «внимание»: история случайного открытия [[JUMP:31:36]] Вопреки распространенному мнению, ключевая идея Трансформеров — механизм «внимания» (Attention) — была придумана не в Google. По утверждению профессора Домингоса, её изобрел стажер в группе Йошуа Бенжио в Монреале по имени Дмитрий (Дима) Баданау [31:36]. Основные тезисы развития технологий обработки языка: * **Рекуррентные сети (RNN):** Были неудобны, так как работали последовательно и теряли информацию о начале текста [32:41]. * **Механизм внимания:** Позволяет сети при генерации слова «смотреть» на важные части исходного предложения, независимо от их удаленности [34:05]. Домингос шутит, что Бенжио пришел в конце работы и просто вписал слово «внимание» везде, где мог, сделав термин виральным [41:29]. * **GPT:** Буква «T» означает «Transformer». Домингос считает успех ChatGPT скорее социологическим феноменом, чем техническим, так как Google уже имел аналогичные модели (например, Lambda), но боялся их выпускать [27:38]. ## ⚔️ ГАНы и эволюционная борьба [[JUMP:42:29]] Генеративно-состязательные сети (GAN), созданные Яном Гудфеллоу, принесли в ИИ термин «генеративный». Домингос описывает их как «эволюционную гонку вооружений» между двумя сетями: 1. **Генератор:** Пытается создать подделку (например, фото кота) [45:47]. 2. **Дискриминатор:** Пытается отличить подделку от реальности [46:00]. По мнению гостя, ГАНы фактически породили индустрию дипфейков [47:20]. Однако сейчас технология стала менее популярной из-за нестабильности обучения, уступив место диффузионным моделям [47:34]. ## 🚩 Скепсис вокруг Reinforcement Learning и DeepSeek [[JUMP:48:01]] Особое внимание Домингос уделяет обучению с подкреплением (Reinforcement Learning, RL). Он выражает «оправданный скепсис» по поводу недавних успехов, включая китайскую модель DeepSeek, заявляющую об использовании «чистого RL» [52:38]. Аргументы Педро Домингоса против «магии RL»: * Часто то, что называют RL, на деле оказывается обычным обучением с учителем (Supervised Learning), просто под «более сексуальным названием» [53:02]. * RL эффективно работает только в играх с четкими правилами (шахматы, Go) или когда награда дается немедленно. Проблема «разреженных отложенных наград» (sparse delayed rewards) в реальном мире до сих пор не решена [54:09]. * Исследование Стэнфорда показало, что популярный метод RLHF (обучение на основе человеческих отзывов), используемый OpenAI, фактически сводится к обычному обучению с учителем [53:15]. ## 🌸 Проблема «одного цветка» в современной науке [[JUMP:54:36]] В завершение беседы Педро Домингос критикует нынешнее состояние области ИИ за отсутствие разнообразия. По его мнению, огромные бюджеты и внимание индустрии сосредоточены на крайне узком направлении (Трансформеры), в то время как другие перспективные школы (байесовцы, эволюционисты) остаются в тени [55:28]. Он приводит историческую аналогию: Минский и Паперт признавались, что «уничтожили» нейросети в 60-х сознательно, чтобы перетянуть финансирование DARPA на свою символическую школу [56:32]. Домингос призывает к использованию метода «симуляции отжига» (Simulated Annealing) в науке — внесению «шума» и случайных идей, чтобы не застрять в локальном минимуме развития [57:26]. «Сейчас цветет только один цветок, а нам нужно позволить расцвести тысяче», — заключает профессор [55:28].