Знаменитый эксперт в области деривативов, профессор Школы менеджмента имени Ротмана при Университете Торонто Джон Халл представил в MIT масштабный обзор применения искусственного интеллекта в финансовом секторе. В своей лекции он описывает переход от классической статистики к алгоритмам машинного обучения, объясняет принципы работы нейросетей и доказывает, почему обучение с подкреплением скоро станет стандартом для хеджирования сложных рисков.
🏭 Машинное обучение как сердце новой промышленной революции 5:42
По мнению Джона Халла, современное машинное обучение (ML) — это не просто новый набор алгоритмов, а фундамент четвертой промышленной революции. Он выделяет четкую хронологию технологического прогресса человечества:
- Первая революция (1760–1840): Энергия пара и воды.
- Вторая революция (1840–1920): Электричество и массовое производство.
- Третья революция (1950–2000): Компьютеризация и цифровизация, автоматизация существующих человеческих правил (например, расчет зарплат или выставление счетов).
- Четвертая революция (с 2000-х): Эпоха ИИ и машинного обучения, где системы не просто следуют правилам, а выводят их самостоятельно.
Разницу между эпохами Халл иллюстрирует на примере выдачи кредитов. Если в рамках «третьей революции» компьютер просто автоматизировал проверку анкет по правилам, написанным кредитными инспекторами, то «четвертая» подразумевает использование ML для поиска скрытых закономерностей в данных и создания более совершенных стратегий одобрения займов. Ключевым фактором успеха ИИ сегодня профессор считает не столько новизну самих математических методов (многие из которых известны десятилетиями), сколько возросшую скорость работы современных процессоров.
📊 Смена парадигмы: Машинное обучение против Статистики 10:09
Халл подчеркивает фундаментальное различие в подходах между классической статистикой и Data Science. В традиционной статистике исследователь сначала формулирует гипотезу в «удобном кресле», а затем собирает данные для ее проверки. Машинное обучение идет в обратном направлении:
- Сначала собирается массив данных.
- Затем алгоритм ищет в нем паттерны без предварительных теоретических предустановок.
В этой области сложилась своя терминология, которая поначалу может запутать классического статистика. Вместо «зависимых переменных» специалисты по ML говорят о целевых переменных (targets), а вместо «независимых переменных» — о признаках (features).
Три столпа алгоритмов
Профессор выделяет три ключевых типа обучения:
- Обучение без учителя (Unsupervised learning): Поиск скрытых кластеров в данных. По словам Халла, это мощный инструмент для бизнеса, позволяющий обнаружить группы клиентов, о существовании которых компания даже не подозревала.
- Обучение с учителем (Supervised learning): Предсказание конкретных значений или классификация данных.
- Обучение с подкреплением (Reinforcement learning): Принятие последовательных решений в условиях неопределенности.
🧠 Анатомия и тренировка нейронных сетей 22:26
Искусственные нейронные сети (ANN) представляют собой многослойные структуры, имитирующие биологические процессы. В отличие от линейной регрессии, ANN не пытаются связать входные данные с результатом одним уравнением. Вместо этого они проходят через несколько этапов преобразований в «скрытых слоях».
[Image of artificial neural network architecture with input, hidden, and output layers]
Ключевые параметры процесса:
- Веса (Weights): Коэффициенты, определяющие влияние одного нейрона на другой.
- Функции активации: Математические функции (Sigmoid, ReLU, Tanh), которые определяют выходной сигнал нейрона. Халл отмечает, что выбор функции часто не критичен, но его команда чаще всего использует Sigmoid.
- Метод обратного распространения ошибки (Backpropagation): Использование производных для корректировки весов в обратном направлении от выхода к входу.
Для предотвращения переобучения (overfitting) — ситуации, когда модель идеально знает тренировочные данные, но бесполезна в реальности, — Халл рекомендует разделять выборку в пропорции 60% (обучение), 20% (валидация) и 20% (финальный тест). Усложнять модель стоит лишь до тех пор, пока точность на валидационном наборе продолжает расти; как только она начинает падать, обучение нужно прекращать.
📈 Практика: Имитация формулы Блэка-Шоулза-Мертона 38:30
Одним из экспериментов Джона Халла стало обучение нейросети на данных, сгенерированных классической моделью ценообразования опционов Блэка-Шоулза-Мертона. Профессор создал 10 000 цен опционов, добавил в них случайный «шум» и проверил, сможет ли ИИ восстановить исходную логику формулы.
Результат оказался впечатляющим: нейросеть с тремя скрытыми слоями смогла практически идеально имитировать модель. Это имеет огромное прикладное значение. Для многих экзотических деривативов единственным способом оценки является симуляция Монте-Карло, которая может занимать 3–4 минуты
