В новом эпизоде подкаста «Eye on AI» Педро Домингос, профессор Вашингтонского университета и автор бестселлера «Верховный алгоритм», анализирует историю и перспективы коннекционизма — доминирующей сегодня школы машинного обучения. Он объясняет, почему современный успех нейросетей может быть лишь «локальным оптимумом» и как конкуренция за гранты и внимание инвесторов заставляет исследователей двигаться в узком коридоре одних и тех же идей.
🧠 Суть коннекционизма: реверс-инжиниринг мозга 9:03
Коннекционизм — одна из старейших парадигм в искусственном интеллекте, зародившаяся еще в 1940-х годах. Основная идея этой школы, по словам Домингоса, заключается в попытке скопировать природный интеллект. «Мы хотим построить разумные машины. Что мы знаем из того, что уже разумно? Людей и, в частности, человеческий мозг» .
Как утверждает профессор, коннекционисты действуют как инженеры, пытающиеся разобрать автомобиль конкурента (например, Toyota разбирает Ford), чтобы понять, как он устроен:
- Начало пути: В 1940-х вышла работа Маккалоха и Питтса — модель нейронов, которая легла в основу современной компьютерной архитектуры .
- Ирония прогресса: Домингос подчеркивает, что современные процессоры, не имеющие отношения к ИИ, созданы на базе тех же моделей, имитирующих нейроны. Разница лишь в том, что в 50-х эти «нейроны» были просто логическими вентилями и не умели учиться .
- Перцептрон: Франк Розенблатт в 1950-х представил первый обучаемый нейрон. Это вызвало первый в истории ИИ масштабный хайп — New York Times тогда писала, что человеческий интеллект будет достигнут совсем скоро .
📉 Циклы забвения: от уничтожения Минским до триумфа Deep Learning 12:34
История коннекционизма полна драматических падений. По мнению Домингоса, наиболее сильный удар по школе нанесли Марвин Минский и Сеймур Паперт. В своей книге 1969 года «Перцептроны» они математически доказали ограничения простых нейросетей .
Последствия этого научного труда были катастрофическими для дисциплины:
- Интерес к нейросетям упал «камнем» на следующие 15 лет .
- Консенсус 70-х состоял в том, что обучение машин не работает, и нужно заниматься «инженерией знаний» .
- В 1980-х произошел возврат благодаря алгоритму обратного распространения ошибки (Backpropagation), но он снова уперся в то, что обучение работало только с одним скрытым слоем .
Настоящий прорыв, который Домингос называет скорее маркетинговым, чем фундаментально научным, случился с появлением термина «глубокое обучение» (Deep Learning). Джефф Хинтон, Ян Лекун и Йошуа Бенжио стали «упертыми идеалистами», которые продолжали работу, когда все остальные отвернулись от нейросетей .
🔄 Алгоритм Backprop: как ИИ «распределяет вину» 14:48
Центральная проблема, которую решает коннекционизм, — это «назначение веса вины» (credit assignment problem). Домингос объясняет это на примере: если сеть должна отличить кошку от собаки, но ошибается, как понять, какой именно из миллионов нейронов внутри системы виноват в ошибке? .
Алгоритм обратного распространения ошибки (Backprop) дает простой ответ:
- Сначала делается прямой проход (инференс) от данных к результату .
- Затем вычисляется ошибка на выходе и сеть идет обратно через слои, последовательно корректируя веса соединений .
- Как иронично замечает Ян Лекун, по сути, это просто «правило цепочки» из математического анализа Лейбница .
Домингос раскрывает закулисную историю Backprop: алгоритм переоткрывали около 20 раз. Он существовал у теоретиков управления в 60-х, у экономистов из Гарварда в 70-х, и даже в 80-х статьи с ним отклонялись рецензентами со словами: «Минский и Паперт доказали, что это не работает» .
🚀 Революция Vision и тайна «30-миллионного интерна» 22:49
Долгое время сообщество специалистов по компьютерному зрению (Computer Vision) скептически относилось к нейросетям, считая их лишь инструментом для распознавания цифр . Ситуацию изменил звонок Джеффа Хинтона к «папе компьютерного зрения» Джитендре Малику .
Ключевыми факторами успеха AlexNet в 2012 году стали:
- Датасет ImageNet: Миллион примеров, собранный Фей-Фей Ли .
- GPU: Использование графических процессоров позволило обучать сети такого масштаба .
Домингос вспоминает историю студента Хинтона — Навдипа Джайтли. Ларри Пейдж называл его «30-миллионным интерном», а Хинтон считает его «миллиардным интерном». Летом в Google Джайтли за три месяца обошел результаты сотен инженеров, годами разрабатывавших системы распознавания речи, просто применив глубокое обучение .
✨ Трансформеры и «внимание»: история случайного открытия 31:36
Вопреки распространенному мнению, ключевая идея Трансформеров — механизм «внимания» (Attention) — была придумана не в Google. По утверждению профессора Домингоса, её изобрел стажер в группе Йошуа Бенжио в Монреале по имени Дмитрий (Дима) Баданау .
Основные тезисы развития технологий обработки языка:
- Рекуррентные сети (RNN): Были неудобны, так как работали последовательно и теряли информацию о начале текста .
- Механизм внимания: Позволяет сети при генерации слова «смотреть» на важные части исходного предложения, независимо от их удаленности . Домингос шутит, что Бенжио пришел в конце работы и просто вписал слово «внимание» везде, где мог, сделав термин виральным .
- GPT: Буква «T» означает «Transformer». Домингос считает успех ChatGPT скорее социологическим феноменом, чем техническим, так как Google уже имел аналогичные модели (например, Lambda), но боялся их выпускать .
⚔️ ГАНы и эволюционная борьба 42:29
Генеративно-состязательные сети (GAN), созданные Яном Гудфеллоу, принесли в ИИ термин «генеративный». Домингос описывает их как «эволюционную гонку вооружений» между двумя сетями:
- Генератор: Пытается создать подделку (например, фото кота) .
- Дискриминатор: Пытается отличить подделку от реальности .
По мнению гостя, ГАНы фактически породили индустрию дипфейков . Однако сейчас технология стала менее популярной из-за нестабильности обучения, уступив место диффузионным моделям .
🚩 Скепсис вокруг Reinforcement Learning и DeepSeek 48:01
Особое внимание Домингос уделяет обучению с подкреплением (Reinforcement Learning, RL). Он выражает «оправданный скепсис» по поводу недавних успехов, включая китайскую модель DeepSeek, заявляющую об использовании «чистого RL» .
Аргументы Педро Домингоса против «магии RL»:
- Часто то, что называют RL, на деле оказывается обычным обучением с учителем (Supervised Learning), просто под «более сексуальным названием» .
- RL эффективно работает только в играх с четкими правилами (шахматы, Go) или когда награда дается немедленно. Проблема «разреженных отложенных наград» (sparse delayed rewards) в реальном мире до сих пор не решена .
- Исследование Стэнфорда показало, что популярный метод RLHF (обучение на основе человеческих отзывов), используемый OpenAI, фактически сводится к обычному обучению с учителем .
🌸 Проблема «одного цветка» в современной науке 54:36
В завершение беседы Педро Домингос критикует нынешнее состояние области ИИ за отсутствие разнообразия. По его мнению, огромные бюджеты и внимание индустрии сосредоточены на крайне узком направлении (Трансформеры), в то время как другие перспективные школы (байесовцы, эволюционисты) остаются в тени .
Он приводит историческую аналогию: Минский и Паперт признавались, что «уничтожили» нейросети в 60-х сознательно, чтобы перетянуть финансирование DARPA на свою символическую школу .
Домингос призывает к использованию метода «симуляции отжига» (Simulated Annealing) в науке — внесению «шума» и случайных идей, чтобы не застрять в локальном минимуме развития . «Сейчас цветет только один цветок, а нам нужно позволить расцвести тысяче», — заключает профессор .
