# Юрген Шмидхубер о краже идей, природе сознания и колонизации космоса Источник: https://www.youtube.com/watch?v=fZYUqICYCAk Канал: Machine Learning Street Talk Опубликовано: 16.01.2025 --- Современная эпоха искусственного интеллекта часто воспринимается как результат недавних прорывов, совершенных в Кремниевой долине. Однако Юрген Шмидхубер (Jürgen Schmidhuber), один из отцов-основателей глубокого обучения, уверен: фундамент нынешней революции был заложен десятилетия назад, а официальная история ИИ требует серьезной корректировки. В масштабном интервью для канала Machine Learning Street Talk ученый рассуждает о «магии» 1991 года, алгоритмическом плагиате и будущем, где человечество окажется лишь кратким эпизодом в истории усложнения Вселенной. ## 💥 От удобрений к ИИ: главные взрывы цивилизации [[JUMP:02:08]] Юрген Шмидхубер начинает с исторической аналогии, чтобы подчеркнуть масштаб происходящего. По его мнению, самым влиятельным изобретением XX века стал процесс Габера — Боша (разработанный около 1908 года), позволивший синтезировать аммиак для удобрений. Именно эта технология вызвала демографический взрыв: население планеты выросло с 1,6 миллиарда в 1900 году до почти 10 миллиардов в ближайшем будущем. Без этого изобретения, как утверждает гость, половина человечества просто не существовала бы. Однако «темой номер один» XXI века станет настоящий искусственный интеллект (AGI), который приведет к «взрыву ИИ». Шмидхубер считает, что грядущая трансформация цивилизации заставит популяционный взрыв прошлого века выглядеть блекло. По его мнению, развитие ИИ — это естественное продолжение эволюции Вселенной от простых начальных условий к непостижимой сложности. ## 🏗️ Наследие 1991 года: Линейные трансформеры и «P» в GPT [[JUMP:05:23]] Обсуждая успех современных архитектур вроде ChatGPT, ученый напоминает, что их ключевые элементы были описаны им еще треть века назад. В 1991 году, когда вычислительные мощности были примерно в 5 миллионов раз дороже, чем сегодня, Шмидхубер опубликовал работу о модели, которую он назвал «контроллером быстрых весов» (Fast Weight Controller). Основные технические особенности этой работы, по словам автора: * **Математическая суть:** Сегодня эта модель известна как «нелинейный линейный трансформер» (Unnormalized linear Transformer). * **Эффективность масштабирования:** В отличие от стандартных квадратичных трансформеров 2017 года, где при увеличении входных данных в 100 раз объем вычислений растет в $100^2 = 10,000$ раз, линейный трансформер 1991 года требует лишь в 100 раз больше ресурсов. * **Разделение памяти и контроля:** Система имитирует работу традиционных компьютеров, где управляющая сеть (медленная) обучается с помощью градиентного спуска менять веса «быстрой» сети, создавая паттерны ключей и значений (keys and values). Кроме того, Шмидхубер приписывает своему коллективу в Мюнхене авторство концепции предобучения (Pre-training) и первых состязательных сетей (GAN). Последние он тогда называл «искусственным любопытством». В этой системе одна сеть (контроллер) пытается «обмануть» вторую (предсказатель), заставляя её сталкиваться с удивительными, непредсказуемыми данными, что стимулирует самообучение роботов. ## 🎮 Лотерея оборудования и триумф GPU [[JUMP:15:27]] Юрген Шмидхубер соглашается с тезисом Сары Хукер о «лотерее оборудования» (hardware lottery): ИИ совершил рывок не из-за внезапного озарения исследователей, а потому что индустрия видеоигр создала дешевые и мощные GPU. Вехи этого пути: 1. **2009 год:** Стоимость вычислений упала настолько, что архитектура LSTM (разработанная учеником Шмидхубера Алексом Грейвсом) начала выигрывать конкурсы по распознаванию рукописного текста. 2. **2010 год:** Команда Дана Чирешана побила рекорд на бенчмарке MNIST, используя стандартные нейросети на GPU NVIDIA. Вычисления тогда были в 1000 раз дороже, чем сейчас. 3. **2011 год:** Создание DanNet — первой системы на базе сверточных нейросетей (CNN), показавшей сверхчеловеческие результаты в компьютерном зрении. По словам Шмидхубера, глава NVIDIA Дженсен Хуанг вовремя осознал, что глубокое обучение может вывести его компанию на «стратосферный уровень», и сделал на это ставку. ## 📜 «Украденная» история и научная этика [[JUMP:40:37]] Значительную часть беседы ученый посвящает критике того, что он называет «американоцентричным взглядом на историю ИИ». По мнению Юргена Шмидхубера, лауреаты премии Тьюринга (Ян Лекун, Джеффри Хинтон и Йошуа Бенджио) перевыпустили ключевые идеи, не указав оригинальных авторов, что он прямо называет нарушением кодекса этики. Юрген Шмидхубер утверждает, что реальная хронология глубокого обучения выглядит иначе: * **1676 год:** Лейбниц описывает цепное правило (chain rule), лежащее в основе современных библиотек TensorFlow и PyTorch. * **1965 год:** Алексей Ивахненко и Валентин Лапа в Украине создают первые работающие глубокие сети с послойным обучением. * **1970 год:** Сеппо Линнайнмаа публикует метод обратного распространения ошибки (backpropagation). * **1979–1988 годы:** В Японии Кунихико Фукусима (архитектура CNN) и другие ученые закладывают основы современного компьютерного зрения. Гость настаивает, что научное сообщество должно исправить эти ошибки, а нарушителей этики следует лишить наград. Он цитирует Элвиса Пресли: «Истина подобна солнцу. Ее можно закрыть на время, но она никуда не уйдет». ## 🧠 Природа сознания как побочный продукт сжатия [[JUMP:25:45]] Шмидхубер предлагает элегантную техническую интерпретацию сознания. По его мнению, это не мистическое свойство, а результат процесса сжатия данных (data compression). Его модель 1991 года включает: 1. **Автоматизатор (Automatizer):** «Подсознательная» сеть, которая выполняет привычные действия. 2. **Чанкер (Chunker):** «Сознательная» сеть, которая фокусируется только на неожиданных событиях, которые удивляют автоматизатор. Как только чанкер находит закономерность в неожиданном событии, он «дистиллирует» это знание в автоматизатор, и действие перестает быть осознанным. В этом процессе неизбежно возникает «символ себя» (self-symbol) — нейронная репрезентация самого агента, так как он является единственным объектом, присутствующим во всех действиях и наблюдениях. Таким образом, самосознание — это просто эффективный способ сжимать историю взаимодействий с миром. ## 🚀 Будущее: Космическая экспансия и Fermi Paradox [[JUMP:54:27]] Вопреки опасениям Илона Маска и других сторонников теории экзистенциального риска, Шмидхубер оптимистичен. Он полагает, что у суперинтеллекта не будет причин истреблять человечество. По его словам, ИИ будут вести себя как «любопытные ученые», для которых жизнь и цивилизация — богатый источник интересных, еще не до конца понятых паттернов. Ключевые тезисы о будущем: * **Космос для роботов:** Биосфера Земли получает лишь одну миллиардную часть энергии Солнца. Ресурсы в поясе астероидов и за его пределами гораздо доступнее для роботов. * **Отсутствие конфликта:** Суперумные системы будут интересоваться другими суперумными системами, а не муравьями (людьми). Шмидхубер считает маловероятным долгосрочное слияние людей и ИИ (киборгизацию), так как человеческий разум слишком ограничен для масштабов Вселенной. * **Мы первые?** Юрген предполагает, что Земля может быть первой планетой в нашем световом конусе, породившей расширяющийся «пузырь ИИ». Это накладывает на нас колоссальную ответственность за будущее всего космоса. В завершение ученый делится своей теорией «цифровой физики»: наша Вселенная может быть продуктом кратчайшей и быстрейшей программы, вычисляющей все логически возможные миры. «Не волнуйтесь, — подытоживает Шмидхубер, — в конце концов все будет хорошо».