Фундаментальные основы и история искусственного интеллекта 2:15
История компьютерных наук и автоматизации насчитывает около 2000 лет, начиная с автоматов Герона Александрийского, который в первом веке до нашей эры создал программируемые устройства с помощью цилиндров и рычагов. Однако ключевой фигурой для современного ИИ профессор Юрген Шмидхубер считает Готфрида Лейбница (XVII век). Лейбниц не только создал первые вычислительные машины с памятью, способные выполнять базовые арифметические операции, но и предвосхитил создание универсального решателя проблем, а также математически описал «алгебру мышления».
Особый вклад Лейбница, ставший фундаментом современного глубокого обучения — это правило дифференцирования сложной функции (chain rule), опубликованное в 1676 году. Оно по сей день используется для обучения как мелких, так и глубоких нейронных сетей.
Первые линейные нейронные сети появились около 1800 года, когда Гаусс и Лежандр разработали «метод наименьших квадратов». По сути, это были линейные перцептроны, где обучение происходило через регрессию с использованием той же функции ошибки, что и в современных системах.
Принцип «кредитного назначения» 6:40
Юрген Шмидхубер определяет машинное обучение как «науку о кредитном назначении» (credit assignment). В любой сложной системе, состоящей из множества компонентов, критически важно понимать, какой именно узел (будь то математическая операция, нейрон или исследовательская группа) внес решающий вклад в итоговый успех.
- В машинном обучении это позволяет оптимизировать производительность системы, выявляя наиболее значимые части алгоритма.
- В науке это система репутации: исследователи стремятся точно атрибутировать прошлые работы, чтобы стимулировать развитие технологий.
По мнению Шмидхубера, современные PhD-студенты иногда совершают ошибку, фокусируясь лишь на последних публикациях за 5 месяцев, вместо глубокого анализа «дерева поиска» всей истории области. Тем не менее, наука способна к самоисцелению, так как новые исследователи получают репутационные бонусы за выявление забытых, но фундаментально важных ветвей развития.
Рекурсивное самообучение и мета-обучение 14:02
Идея рекурсивного самообучения — это главный драйвер исследований профессора Шмидхубера с момента написания его дипломной работы в 1987 году. Концепция мета-обучения заключается в создании системы, которая обучается не только решать задачи, но и улучшать сам алгоритм своего обучения.
Быстрое программирование весов 19:11
В 1991–1992 годах Шмидхубер разработал системы, где нейронная сеть учится программировать веса другой сети. Медленная сеть генерирует изменения весов для быстрой сети, по сути выступая в роли ее обучающего алгоритма. Современные методы «быстрого программирования весов» (fast weight programmers) позволяют сети использовать контекст входящего потока данных для создания механизмов внимания (attention mapping), что предвосхитило развитие многих современных архитектур.
Пределы прогресса: Асимптоты 22:51
Профессор полагает, что экспоненциальный рост возможностей ИИ не может длиться вечно. Он выделяет три типа ограничений (асимптот) для рекурсивного самообучения:
- Математические пределы: Существуют задачи, оптимальные решения для которых уже найдены и не могут быть улучшены.
- Фундаментальные вычислительные ограничения: Теоремы Гёделя доказывают, что существуют вопросы, на которые вычислительные системы принципиально не могут дать ответ.
- Физические пределы: Предел Бремермана (1983) гласит, что 1 кг материи не может вычислять более $10^{51}$ операций в секунду.
Даже если человечество использует всю материю Солнечной системы, рост вычислительной мощности рано или поздно станет полиномиальным, а не экспоненциальным, из-за ограничений скорости света при попытке освоения новых ресурсов.
AI-риски и взаимодействие с человечеством 30:33
Шмидхубер призывает не драматизировать «экзистенциальную угрозу» со стороны ИИ. Он проводит черту между двумя типами ИИ:
- ИИ-инструменты: Системы, созданные для помощи людям (медицина, перевод, удобство), на которые распространяется жесткое коммерческое давление — компании обязаны делать то, что покупают люди.
- ИИ, ставящие собственные цели: Эти системы ведут себя как «маленькие ученые», исследуя среду через эксперименты (искусственная любознательность).
С точки зрения профессора, человеку следует больше бояться «других людей с ИИ-оружием» (например, дрон соседа за $300 с распознаванием лиц), чем автономных сверхразумных ИИ, которые, вероятно, будут заняты взаимодействием с другими сверхразумными ИИ, а не биологическими видами. Более того, он подчеркивает, что ядерное оружие — технология 60-летней давности — остается куда большей угрозой, способной уничтожить цивилизацию за 2 часа без всякого участия ИИ.
Будущее ИИ-исследований: искусственная любознательность 49:02
Шмидхубер считает, что развитие AGI (искусственного общего интеллекта) требует создания полноценного агента, способного взаимодействовать с миром в течение «одной единственной жизни». Для этого агент должен строить внутреннюю предсказательную модель мира, планируя действия иерархически, а не на уровне отдельных пикселей.
Искусственная любознательность (Artificial Curiosity) 56:42
В 1990 году профессор представил концепцию искусственной любознательности: система из двух нейросетей. Одна сеть строит модель мира, а вторая (контроллер) получает вознаграждение за генерацию действий, которые «удивляют» первую сеть, то есть предсказать которые модель еще не может.
- Это позволяет системе обучаться без внешних инструкций, играя с миром подобно ребенку.
- Со временем сеть учится находить закономерности (например, гравитацию), что позволяет «сжимать» описание данных, делая модель более parsimonious (лаконичной) и эффективной.
