В новом выпуске подкаста Machine Learning Street Talk ведущий Тим Скарф беседует с профессором Юргеном Шмидхубером, которого многие исследователи называют истинным отцом современного искусственного интеллекта. В ходе академической дискуссии гость детально восстанавливает историческую справедливость в развитии ИИ, разбирает математические принципы метаобучения и обозначает фундаментальные физические границы вычислительных систем. Профессор делится критическим взглядом на популярные сценарии технологического апокалипсиса, противопоставляя им реальные угрозы и эволюционные законы усложнения Вселенной.
📜 От Герона до Лейбница: истинная история искусственного интеллекта 1:31
Развитие компьютерных наук и ИИ имеет гораздо более глубокие корни, чем принято считать в рамках современной популярной культуры. По словам Юргена Шмидхубера, история программируемых устройств началась около двух тысяч лет назад, в первом веке нашей эры, когда Герон Александрийский сконструировал первый управляемый с помощью программы автомат. Устройство приводилось в движение весом, тянущим вниз канат, намотанный на вращающийся цилиндр со специальными штифтами, что позволяло автоматически управлять марионетками в механическом театре. Еще более ранним примером сложной инженерии гость называет Антикитерский механизм, представлявший собой древнегреческих астрономических часов.
Особое место в истории вычислительной техники занимает Готфрид Вильгельм Лейбниц, которого Юрген Шмидхубер называет первым настоящим компьютерным ученым. В 1680-х годах Лейбниц не только создал первую механическую машину, способную выполнять четыре базовых арифметических действия (сложение, вычитание, умножение и деление), но и сформулировал принципы универсального решателя задач. Его «алгебра мысли» дедуктивно эквивалентна булевой алгебре, появившейся значительно позже. В контексте глубокого обучения Шмидхубер выделяет ключевой вклад Лейбница:
«В 1676 году Лейбниц опубликовал правило дифференцирования сложной функции (chain rule). Именно этот математический фундамент сегодня используется для обучения глубоких искусственных нейросетей, включая рекуррентные архитектуры. Все, что мы применяем в современном ИИ, во многом зависит от этой ранней работы».
Линейные нейросети в их простейшем понимании появились на рубеже XIX века. В 1800 году Карл Фридрих Гаусс и Адриен Мари Лежандр разработали метод наименьших квадратов, который фактически представлял собой линейный перцептрон без нелинейных функций активации. В этих системах использовалась абсолютно та же функция ошибки, что и в современных моделях, а обучение сводилось к регрессии для настройки весовых коэффициентов связей между входами и выходами.
🎯 Проблема распределения кредита доверия в науке 7:07
Машинное обучение по своей сути является наукой о распределении кредита доверия (credit assignment). Как объясняет профессор Шмидхубер, если сложная машина успешно взаимодействует с миром и решает задачу, необходимо математически определить, какие именно компоненты системы и в какой момент времени были за это ответственны. Ранние действия системы часто закладывают основу для последующих успехов, и оптимизация невозможна без точной оценки вклада каждого элемента.
Этот же методологический принцип Шмидхубер призывает применять к истории самой науки. Научное сообщество состоит из инженеров, математиков и создателей оборудования, где главным стимулом выступает не финансовое вознаграждение, а репутация. По мнению гостя, академическая система обязана выстраивать прозрачные цепочки цитирования, чтобы четко фиксировать, кто, что и когда изобрел. Именно поэтому профессора требуют от аспирантов скрупулезного отношения к анализу предшествующих работ.
Ведущий Тим Скарф отмечает, что изучение первоисточников (например, ранних работ Эйнштейна по диффузии) часто открывает более широкий спектр возможностей, который со временем сужается из-за чрезмерной фокусировки академического мейнстрима. Шмидхубер соглашается с этим наблюдением и подчеркивает, что 99% научной деятельности состоит из неудач. Прогресс требует постоянного возврата к точкам ветвления (backtracking), где когда-то могло быть принято неверное решение.
Однако в текущей ИИ-индустрии глубинного возврата к старым концепциям практически не происходит. Как с сожалением констатирует гость:
- Новая волна аспирантов изучает исключительно статьи, вышедшие за последние пять месяцев.
- Исследователи фокусируются на микро-улучшениях, пытаясь получить условные +2% к результату на конкретном популярном бенчмарке.
- Рецензентами на крупных конференциях выступают точно такие же студенты, не знающие всей архитектуры исторического дерева поиска.
🔄 Рекурсивное самосовершенствование и «быстрые программисты весов» 13:50
Идея систем, способных бесконечно улучшать собственные алгоритмы, определила всю научную карьеру Шмидхубера. Его дипломная работа 1987 года была полностью посвящена концепции метаобучения (meta-learning). Профессор проектировал машину, которая учится выполнять задачу, параллельно учится оптимизировать сам алгоритм обучения на основе накопленного опыта, и делает это рекурсивно на бесконечном числе уровней. На практике глубина такого самосовершенствования всегда лимитирована исключительно временем работы системы, законами физики и теории вычислимости.
В 1992 году Шмидхубер разработал подход, при котором рекуррентные нейросети (RNN) обучались запускать свои собственные алгоритмы обучения. В архитектуру были добавлены специальные выходные нейроны для адресации, чтения и записи внутренних связей сети. Поскольку RNN является универсальным компьютером, она способна выполнять любые алгоритмы, включая динамическое изменение весов в ответ на входящие сигналы или подкрепление, минуя жестко заданные правила человеческого градиентного спуска. При этом исходная матрица весов по-прежнему настраивалась классическим градиентным спуском, оптимизируя самореференциальную динамику.
В основе этой технологии лежит концепция «быстрых программистов весов» (fast weight programmers), предложенная профессором в 1991 году. Архитектура разделялась на две части:
Принцип работы этой системы включал:
- Медленную сеть: она обучалась генерировать...
- Быструю сеть: её веса выступали в роли динамической программы.
Медленная сеть анализировала контекст входящего потока данных и генерировала выходы, которые преобразовывались в изменения весов быстрой сети. Процесс основывался на сопоставлении ключей и значений через математический механизм внешнего произведения (outer product). Сильно активированные элементы связывались прочными соединениями, формируя отображение внимания (attention mapping), которое затем применялось к поисковым запросам. По сути, эта архитектура предвосхитила появление современных трансформеров.
🛑 Математические и физические асимптоты вычислений 21:53
Вопреки убеждениям многих сторонников теории экзистенциального риска (AI X-risk), верящих в бесконечный рост «чистого разума», рекурсивное самосовершенствование неизбежно столкнется с жесткими асимптотами. Первое ограничение носит чисто математический характер: существуют алгоритмы (например, определенные методы сортировки), которые уже являются теоретически оптимальными, и никакой сверхумный ИИ не сможет сделать их быстрее.
Вторым фундаментальным барьером Шмидхубер называет теорему Курта Гёделя о неполноте, сформулированную в 1931 году. Гёдель доказал, что в любой достаточно мощной формальной системе существуют истинные утверждения, которые невозможно ни доказать, ни опровергнуть вычислительным путем. Это накладывает абсолютные ограничения на любые ИИ-системы, построенные на базе вычислений. Профессор подчеркивает, что на сегодняшний день нет никаких научных свидетельств того, что человеческий мозг способен осуществлять «гипервычисления», выходящие за рамки традиционной теории Тьюринга и Чёрча.
Третья группа ограничений связана с законами физики — скоростью света и локальностью вычислений. На протяжении десятилетий индустрия росла по закону Мура: каждые пять лет компьютеры дешевели примерно в 10 раз (рост в миллион раз за 30 лет). Этот эмпирический закон прослеживался еще с 1941 года, когда Конрад Цузе построил первый программируемый компьютер Z3, работавший со скоростью около одной инструкции в секунду.
Однако физический предел вычислений («предел Бреммерманна», открытый в 1983 году) строго лимитирует возможности материи: один килограмм вещества не может выполнять более $10^{51}$ операций в секунду. Для сравнения, человеческий мозг массой около килограмма потенциально ограничен планкой в $10^{20}$ операций.
Профессор делится физиологическим наблюдением:
«Большая часть моих нейронов не активна прямо сейчас, пока мы разговариваем. В противном случае моя голова просто испарилась бы из-за колоссального выделения тепла. Реальная скорость вычислений активного мозга ближе к $10^{17}$ операциям».
Исходя из этого, Шмидхубер рассчитывает верхний предел совокупной вычислительной мощности всего человечества (при численности в 10 миллиардов человек) примерно в $10^{30}$ инструкций в секунду. Экспоненциальное ускорение компьютерных систем продлится еще несколько десятилетий, но при приближении к физическим границам неизбежно сменится полиномиальным законом роста. Из-за ограничений скорости света для наращивания мощностей ИИ-цивилизации придется физически расширяться во Вселенную, отправляя зонды фон Неймана к другим звездным системам для поиска новой материи.
🦎 Экзистенциальные риски: ИИ против ядерной угрозы 31:25
В дискуссиях о безопасности искусственного интеллекта Шмидхубер занимает прагматичную и оптимистичную позицию. Как утверждает профессор, в ИИ-индустрии существует колоссальный перекос в сторону созидательных технологий. Рыночное давление заставляет корпорации создавать продукты, которые люди захотят добровольно покупать, а клиенты платят только за то, что приносит им пользу. Военные разработки и создание автономного оружия составляют не более 5% от общего объема исследований в сфере ИИ.
Ученый разделяет все системы искусственного интеллекта на два принципиальных класса:
- Инструменты: выполняют задачи, поставленные человеком (диагностика в здравоохранении, синхронный перевод, автоматизация рутины).
- Автономные агенты: самостоятельно формулируют и преследуют собственные цели (подобные системы развиваются в лаборатории Шмидхубера более 32 лет).
Главную опасность в обозримом будущем представляют не автономные агенты, стремящиеся «поработить человечество», а люди, вооруженные доступными ИИ-инструментами. Профессор приводит утрированный пример: гораздо реалистичнее сценарий, при котором ваш недоброжелательный сосед покупает за 300 долларов дрон с системой распознавания лиц и манипулятором, чтобы подбросить яд в ваш утренний кофе. Опасаться нужно тех субъектов, с которыми у вас пересекаются жизненные интересы и ресурсы.
Конфликт всегда произрастает из дефицита и общих целей. Профессор иллюстрирует это бытовой аналогией:
«Если на столе лежит один-единственный шницель, а претендуют на него двое голодных людей — у них появляется весомый повод для драки. Вы можете либо сотрудничать (как при создании семьи), либо жестко конкурировать (вплоть до войны)».
По мнению Шмидхубера, у сверхразвитого кремниевого ИИ будущего практически не будет общих целей с биологическими существами. Биологический человек жестко привязан к узкому диапазону температур, давлению и наличию кислорода. ИИ же ориентирован на экспансию в открытый космос, где ресурсы практически безграничны. Защита человечества будет обеспечена банальным отсутствием интереса к нему со стороны ИИ.
Шмидхубер скептически относится к попыткам создать универсальную систему ИИ, «выровненную» со всеми людьми (alignment problem). Причина кроется в тотальной разобщенности человечества: если запереть десять человек в одной комнате и спросить их, что такое «благо», они дадут десять противоположных ответов. Моральные ценности эволюционируют. То, что казалось нормой жителям Запада 200 лет назад, неприемлемо сегодня, и этот процесс не остановится. Текущая фиксация медиа на рисках ИИ кажется Шмидхуберу странной, а авторов многочисленных открытых писем об опасности технологий он прямо подозревает в дешевом поиске хайпа:
«Авторы этих манифестов просто жаждут внимания. Они прекрасно понимают, что мрачные ИИ-дистопии привлекают гораздо больше кликов и просмотров, чем скучные документальные фильмы о пользе нейросетей в онкологии».
С точки зрения рационального анализа рисков, профессора гораздо сильнее тревожит 60-летняя технология ядерного оружия, способная без всякого ИИ стереть с лица земли мегаполис с 10 миллионами жителей за долю секунды.
🗺️ Путь к сильному ИИ: иерархическое планирование и искусственное любопытство 49:02
Современный триумф больших языковых моделей (LLM), успешно проходящих тест Тьюринга, Шмидхубер называет лишь крошечным шагом на пути к созданию настоящего сильного искусственного интеллекта (AGI). Настоящему агенту необходима физическая среда для взаимодействия, способность трансформировать мир действиями и алгоритмы извлечения максимальной выгоды в рамках одной-единственной «жизни».
В реальном мире обучение с подкреплением не может строиться на бесконечных повторяющихся игровых сессиях. В начале жизни агент не знает ничего. Пройдя 30% жизненного пути, он обладает лишь узким массивом собранных данных. На основе этого мизерного опыта ИИ должен построить предсказательную модель мира, чтобы планировать действия на долгосрочную перспективу.
Главный недостаток большинства современных систем — это отсутствие абстрактного иерархического планирования. Наивные модели планируют действия посекундно (например, высчитывая сокращение каждой мышцы мизинца при попытке встать со стула). Истинный ИИ должен оперировать высокоуровневыми subgoals (подцелями). Шмидхубер приводит в пример планирование путешествия из дома в Пекин:
- Первый уровень: вызвать такси до вокзала или аэропорта.
- Второй уровень: пройти регистрацию на рейс.
- Третий уровень: девять часов полета, во время которых на микро-уровне ничего не происходит.
- Четвертый уровень: прибытие в Пекин и поиск локального транспорта.
Эффективное мышление ИИ должно концентрироваться на «островках предсказуемости», полностью игнорируя непредсказуемый визуальный шум на уровне отдельных пикселей.
Этот подход базируется на концепции искусственного любопытства (artificial curiosity), разработанной Шмидхубером в 1990 году. Архитектура состояла из двух нейросетей: агента, совершающего действия, и модели мира, пытающейся предсказать реакцию среды. В начале пути модель мира постоянно ошибается. Задача агента через градиентный спуск — придумывать такие эксперименты и действия, которые максимизируют ошибку предсказания модели мира. Агент целенаправленно ищет то, что способно удивить систему. Как только феномен становится предсказуемым, он объявляется «скучным», и ИИ переключается на новые скрытые закономерности. Профессор отмечает, что эта схема фактически заложила основы принципа работы генеративно-состязательных сетей (GAN).
Главная радость ученого — это обнаружение регулярностей, позволяющих сжать описание мира. Если нейросеть наблюдает за падающими объектами на видео, понимание закона гравитации позволяет ей не сохранять пиксели каждого кадра, а зафиксировать простую математическую формулу ускорения. Истинной наградой для контроллера становится именно прогресс сжатия данных (compression progress). Это напрямую соотносится с понятием Колмогоровской сложности — длиной кратчайшей программы, способной вычислить заданный объем данных.
В 1998 году аспирант Шмидхубера Зепп Хохрайтер предложил алгоритм поиска плоских минимумов (flat minimum search). Если функция ошибки на графике весов представляет собой узкую и острую впадину, весовые коэффициенты необходимо задавать с огромной точностью, тратя много бит информации. Широкое, пологое плато (плоский минимум) означает, что веса можно существенно округлять и изменять без потери качества работы сети. Поиск таких устойчивых матриц весов снижает общую сложность описания системы, позволяя одному ключевому весовому коэффициенту эффективно отключать целые пласты ненужных скрытых нейронов.
🔓 Будущее индустрии: триумф Open Source и критика регуляций 1:12:39
Оценивая текущие коммерческие флагманские модели вроде GPT-4, Шмидхубер признает, что впечатлен качеством текстовой генерации, превзошедшим ожидания прошлых лет. Тем не менее, он не разделяет панического трепета коллег:
«Для меня все это выглядит как дежавю. На протяжении десятилетий, когда я говорил, что хочу при своей жизни создать систему умнее меня, люди крутили пальцем у виска и называли меня сумасшедшим. Теперь те же самые люди увидели ChatGPT и в панике кричат, что мы в шаге от пришествия сверхумного AGI. Я впечатлен их результатами гораздо меньше, чем они сами».
Профессор выражает безоговорочную поддержку феномена открытого исходного кода (Open Source). Ярким примером послужила утекшая в сеть модель LLaMA от Meta, которую независимые исследователи с помощью методов тонкой настройки (LoRA) за пару недель довели до уровня коммерческих закрытых аналогов. Шмидхубер убежден, что крупные корпорации не смогут долго удерживать монополию и строить технологические «рвы» (moats) вокруг своих моделей:
«Ни одна закрытая компания в мире не способна конкурировать с многотысячным сообществом блестящих аспирантов со всех уголков планеты. У них колоссальная мотивация каждый день выкладывать на GitHub код, который хоть немного лучше вчерашнего решения конкурента».
Именно поэтому гость жестко критикует попытки жесткого законодательного регулирования ИИ, предпринимаемые, в частности, Евросоюзом. Вводя обременительные бюрократические процедуры одобрения генеративных моделей, европейские политики рискуют «выстрелить себе в ногу» и полностью уничтожить локальные технологические инновации. Запретить Open Source на глобальном уровне невозможно: если один геополитический блок заблокирует свободную разработку, инициативу мгновенно перехватят другие страны.
