# Эндрю Ын: «Ортогонализация — секрет эффективной настройки нейросетей»

Источник: https://www.youtube.com/watch?v=UEtvV1D6B3s
Канал: DeepLearning.AI
Опубликовано: 25.08.2017

---

Создание систем машинного обучения сопряжено с огромным количеством переменных: от выбора архитектуры до настройки гиперпараметров. Эндрю Ын, основатель DeepLearning.AI и один из самых авторитетных экспертов в области ИИ, утверждает, что ключом к эффективности в этом процессе является «ортогонализация» — подход, позволяющий настраивать систему точечно, не создавая побочных эффектов.

## 📺 Искусство настройки: уроки старых телевизоров
[[JUMP:0:00]]

По мнению Эндрю Ына, наиболее эффективные специалисты по машинному обучению всегда четко понимают, какую именно ручку управления (knob) нужно повернуть, чтобы добиться конкретного эффекта [0:13]. Этот процесс он называет ортогонализацией.

Для иллюстрации идеи автор приводит аналогию с дизайном старых телевизоров. В эпоху аналоговой техники устройства имели множество ручек для корректировки изображения:

*   Вертикальный размер (высота).
*   Горизонтальный размер (ширина).
*   Трапецеидальные искажения.
*   Смещение картинки по горизонтали и вертикали.
*   Поворот изображения.

Ын подчеркивает, что инженеры тратили много времени на проектирование схем так, чтобы каждая ручка отвечала строго за одну функцию [1:08]. Если бы одна ручка одновременно меняла 10% высоты, 30% ширины и 80% позиции по горизонтали, настроить телевизор было бы практически невозможно [1:38]. Ортогонализация в данном контексте означает, что элементы управления независимы и расположены под «углом 90 градусов» друг к другу в пространстве функций.

## 🏎️ Управление автомобилем и принцип разделения функций
[[JUMP:2:15]]

Другой пример, который приводит спикер, касается вождения автомобиля. Традиционный автомобиль имеет три основных органа управления: руль, педаль газа и педаль тормоза [2:31].

1.  Руль отвечает за направление движения (влево/вправо).
2.  Педали отвечают за скорость.

По мнению Ына, такая система интуитивно понятна, так как действия водителя имеют интерпретируемый результат. Однако представьте автомобиль, управляемый джойстиком, где одна ось меняет угол поворота на 0,3 и скорость на 0,8 одновременно [2:58]. Теоретически, комбинируя такие рычаги, можно добиться нужного движения, но на практике это кратно усложняет задачу управления. Ортогональные элементы управления, в отличие от смешанных, позволяют воздействовать на одну размерность проблемы, не затрагивая остальные [4:06].

## 🎯 Четыре этапа настройки системы машинного обучения
[[JUMP:4:34]]

Для того чтобы система обучения с учителем (supervised learning) работала эффективно, она должна последовательно соответствовать четырем критериям. Ын называет их «четырьмя задачами», для каждой из которых предусмотрен свой набор «ручек» [4:48]:

*   **Обучающая выборка (Training set):** Система должна показывать приемлемую производительность на данных, на которых она учится. В некоторых задачах ориентиром служит уровень человеческих способностей [5:01].
*   **Валидационная выборка (Dev set):** Хорошие результаты на обучении должны транслироваться в хорошие результаты на данных, которые модель не видела в процессе подбора весов.
*   **Тестовая выборка (Test set):** Модель должна успешно проходить финальную проверку на данных, которые не использовались даже для настройки гиперпараметров.
*   **Реальный мир:** Успех на тестовой выборке должен коррелировать с удовлетворением конечного пользователя (например, корректная работа приложения для распознавания кошек) [5:25].

## 🛠️ Какие «ручки» крутить: практические рекомендации
[[JUMP:5:56]]

Эндрю Ын дает конкретные советы, какие инструменты использовать, если система «буксует» на одном из этапов. Важно использовать именно тот инструмент, который соответствует текущему узкому месту (bottleneck).

**Проблема с обучающей выборкой:**
Если алгоритм плохо подгоняется под данные, автор рекомендует использовать:

*   Более глубокие или широкие нейронные сети.
*   Более продвинутые алгоритмы оптимизации, такие как Adam [6:22].

**Проблема с валидационной выборкой (Dev set):**
Если на обучении всё хорошо, а на валидации плохо, это признак переобучения. По мнению Ына, здесь нужны свои «ручки» [6:49]:

*   Методы регуляризации.
*   Увеличение объема обучающей выборки [7:18].

**Проблема с тестовой выборкой:**
Если результаты на Dev set отличные, а на тесте — нет, Ын считает, что вы «перенастроили» систему под валидационные данные. Решение: увеличить объем валидационной выборки [7:44].

**Проблема с реальным миром:**
Если метрики на тестах высоки, но пользователи недовольны, спикер утверждает, что проблема фундаментальна: либо распределение данных в Dev/Test выборках задано неверно, либо ваша функция стоимости (cost function) измеряет не то, что нужно на самом деле [8:27].

## 🛑 Почему Эндрю Ын избегает Early Stopping
[[JUMP:8:52]]

В конце лекции автор делится личным профессиональным предпочтением. Он отмечает, что старается не использовать метод «ранней остановки» (early stopping), хотя и не считает его плохим [8:52].

Причина кроется именно в принципе ортогонализации. Early stopping — это «неортогональная ручка», потому что она одновременно влияет на два параметра [9:05]:

1.  Насколько хорошо модель выучила обучающие данные (если остановить слишком рано, недоучимся).
2.  Насколько хорошо модель обобщает данные на валидационной выборке.

Ын сравнивает это с той самой ручкой телевизора, которая одновременно меняет и высоту, и ширину кадра. По его словам, использование более специализированных инструментов (отдельно — для оптимизации обучения, отдельно — для регуляризации) делает процесс настройки нейросети гораздо более предсказуемым и простым [10:10].