Современная эпоха искусственного интеллекта часто воспринимается как результат недавних прорывов, совершенных в Кремниевой долине. Однако Юрген Шмидхубер (Jürgen Schmidhuber), один из отцов-основателей глубокого обучения, уверен: фундамент нынешней революции был заложен десятилетия назад, а официальная история ИИ требует серьезной корректировки. В масштабном интервью для канала Machine Learning Street Talk ученый рассуждает о «магии» 1991 года, алгоритмическом плагиате и будущем, где человечество окажется лишь кратким эпизодом в истории усложнения Вселенной.
💥 От удобрений к ИИ: главные взрывы цивилизации 2:08
Юрген Шмидхубер начинает с исторической аналогии, чтобы подчеркнуть масштаб происходящего. По его мнению, самым влиятельным изобретением XX века стал процесс Габера — Боша (разработанный около 1908 года), позволивший синтезировать аммиак для удобрений. Именно эта технология вызвала демографический взрыв: население планеты выросло с 1,6 миллиарда в 1900 году до почти 10 миллиардов в ближайшем будущем. Без этого изобретения, как утверждает гость, половина человечества просто не существовала бы.
Однако «темой номер один» XXI века станет настоящий искусственный интеллект (AGI), который приведет к «взрыву ИИ». Шмидхубер считает, что грядущая трансформация цивилизации заставит популяционный взрыв прошлого века выглядеть блекло. По его мнению, развитие ИИ — это естественное продолжение эволюции Вселенной от простых начальных условий к непостижимой сложности.
🏗️ Наследие 1991 года: Линейные трансформеры и «P» в GPT 5:23
Обсуждая успех современных архитектур вроде ChatGPT, ученый напоминает, что их ключевые элементы были описаны им еще треть века назад. В 1991 году, когда вычислительные мощности были примерно в 5 миллионов раз дороже, чем сегодня, Шмидхубер опубликовал работу о модели, которую он назвал «контроллером быстрых весов» (Fast Weight Controller).
Основные технические особенности этой работы, по словам автора:
- Математическая суть: Сегодня эта модель известна как «нелинейный линейный трансформер» (Unnormalized linear Transformer).
- Эффективность масштабирования: В отличие от стандартных квадратичных трансформеров 2017 года, где при увеличении входных данных в 100 раз объем вычислений растет в $100^2 = 10,000$ раз, линейный трансформер 1991 года требует лишь в 100 раз больше ресурсов.
- Разделение памяти и контроля: Система имитирует работу традиционных компьютеров, где управляющая сеть (медленная) обучается с помощью градиентного спуска менять веса «быстрой» сети, создавая паттерны ключей и значений (keys and values).
Кроме того, Шмидхубер приписывает своему коллективу в Мюнхене авторство концепции предобучения (Pre-training) и первых состязательных сетей (GAN). Последние он тогда называл «искусственным любопытством». В этой системе одна сеть (контроллер) пытается «обмануть» вторую (предсказатель), заставляя её сталкиваться с удивительными, непредсказуемыми данными, что стимулирует самообучение роботов.
🎮 Лотерея оборудования и триумф GPU 15:27
Юрген Шмидхубер соглашается с тезисом Сары Хукер о «лотерее оборудования» (hardware lottery): ИИ совершил рывок не из-за внезапного озарения исследователей, а потому что индустрия видеоигр создала дешевые и мощные GPU.
Вехи этого пути:
- 2009 год: Стоимость вычислений упала настолько, что архитектура LSTM (разработанная учеником Шмидхубера Алексом Грейвсом) начала выигрывать конкурсы по распознаванию рукописного текста.
- 2010 год: Команда Дана Чирешана побила рекорд на бенчмарке MNIST, используя стандартные нейросети на GPU NVIDIA. Вычисления тогда были в 1000 раз дороже, чем сейчас.
- 2011 год: Создание DanNet — первой системы на базе сверточных нейросетей (CNN), показавшей сверхчеловеческие результаты в компьютерном зрении.
По словам Шмидхубера, глава NVIDIA Дженсен Хуанг вовремя осознал, что глубокое обучение может вывести его компанию на «стратосферный уровень», и сделал на это ставку.
📜 «Украденная» история и научная этика 40:37
Значительную часть беседы ученый посвящает критике того, что он называет «американоцентричным взглядом на историю ИИ». По мнению Юргена Шмидхубера, лауреаты премии Тьюринга (Ян Лекун, Джеффри Хинтон и Йошуа Бенджио) перевыпустили ключевые идеи, не указав оригинальных авторов, что он прямо называет нарушением кодекса этики.
Юрген Шмидхубер утверждает, что реальная хронология глубокого обучения выглядит иначе:
- 1676 год: Лейбниц описывает цепное правило (chain rule), лежащее в основе современных библиотек TensorFlow и PyTorch.
- 1965 год: Алексей Ивахненко и Валентин Лапа в Украине создают первые работающие глубокие сети с послойным обучением.
- 1970 год: Сеппо Линнайнмаа публикует метод обратного распространения ошибки (backpropagation).
- 1979–1988 годы: В Японии Кунихико Фукусима (архитектура CNN) и другие ученые закладывают основы современного компьютерного зрения.
Гость настаивает, что научное сообщество должно исправить эти ошибки, а нарушителей этики следует лишить наград. Он цитирует Элвиса Пресли: «Истина подобна солнцу. Ее можно закрыть на время, но она никуда не уйдет».
🧠 Природа сознания как побочный продукт сжатия 25:45
Шмидхубер предлагает элегантную техническую интерпретацию сознания. По его мнению, это не мистическое свойство, а результат процесса сжатия данных (data compression).
Его модель 1991 года включает:
- Автоматизатор (Automatizer): «Подсознательная» сеть, которая выполняет привычные действия.
- Чанкер (Chunker): «Сознательная» сеть, которая фокусируется только на неожиданных событиях, которые удивляют автоматизатор.
Как только чанкер находит закономерность в неожиданном событии, он «дистиллирует» это знание в автоматизатор, и действие перестает быть осознанным. В этом процессе неизбежно возникает «символ себя» (self-symbol) — нейронная репрезентация самого агента, так как он является единственным объектом, присутствующим во всех действиях и наблюдениях. Таким образом, самосознание — это просто эффективный способ сжимать историю взаимодействий с миром.
🚀 Будущее: Космическая экспансия и Fermi Paradox 54:27
Вопреки опасениям Илона Маска и других сторонников теории экзистенциального риска, Шмидхубер оптимистичен. Он полагает, что у суперинтеллекта не будет причин истреблять человечество. По его словам, ИИ будут вести себя как «любопытные ученые», для которых жизнь и цивилизация — богатый источник интересных, еще не до конца понятых паттернов.
Ключевые тезисы о будущем:
- Космос для роботов: Биосфера Земли получает лишь одну миллиардную часть энергии Солнца. Ресурсы в поясе астероидов и за его пределами гораздо доступнее для роботов.
- Отсутствие конфликта: Суперумные системы будут интересоваться другими суперумными системами, а не муравьями (людьми). Шмидхубер считает маловероятным долгосрочное слияние людей и ИИ (киборгизацию), так как человеческий разум слишком ограничен для масштабов Вселенной.
- Мы первые? Юрген предполагает, что Земля может быть первой планетой в нашем световом конусе, породившей расширяющийся «пузырь ИИ». Это накладывает на нас колоссальную ответственность за будущее всего космоса.
В завершение ученый делится своей теорией «цифровой физики»: наша Вселенная может быть продуктом кратчайшей и быстрейшей программы, вычисляющей все логически возможные миры. «Не волнуйтесь, — подытоживает Шмидхубер, — в конце концов все будет хорошо».
