🔍 Основы анализа главных компонент (PCA) 0:07
Анализ главных компонент (PCA — Principal Component Analysis) — это классический алгоритм обучения без учителя, который позволяет уменьшить размерность данных, сохраняя при этом их основные структурные характеристики. В отличие от факторного анализа, изученного ранее, PCA не является вероятностным методом: он не моделирует плотность распределения $P(x)$, а геометрически определяет подпространство, в котором «живут» данные.
Как работает PCA 9:19
В основе алгоритма лежит поиск «главной оси вариативности» данных. Представим задачу на примере школьников, где измеряется рост в сантиметрах и дюймах. Несмотря на то что данные двумерны ($n=2$), по сути они одномерны, так как обе метрики описывают одну и ту же физическую величину.
Ключевые этапы подготовки и реализации:
- Предобработка: Перед запуском PCA крайне важно стандартизировать данные: вычесть среднее значение из каждого примера и разделить на стандартное отклонение. Это необходимо, чтобы PCA не отдавал предпочтение осям с разным масштабом (например, сантиметры против километров).
- Определение осей: Алгоритм ищет направление (единичный вектор $u$), при проекции на которое разброс данных максимален.
- Математическое обоснование: Задача сводится к поиску главного собственного вектора ковариационной матрицы $\sigma$.
- Уменьшение размерности: Если нужно сжать данные до $k$ измерений, выбираются $k$ главных собственных векторов, соответствующих наибольшим собственным значениям ($\lambda$).
По словам Эндрю Ына, существует как минимум два эквивалентных способа вывести PCA: максимизация разброса проекций и минимизация суммы квадратов расстояний между исходными точками и их проекциями. Доказательство их эквивалентности является одной из задач домашней работы студентов Stanford University.
🛠 Применение и ограничения PCA 31:27
Эндрю Ын выделяет несколько сценариев, когда использование PCA оправдано, а когда оно может быть избыточным.
- Визуализация: Идеально подходит для проецирования высокоразмерных данных в 2D или 3D. Примером прорыва в нейронауке стало использование PCA для анализа сигналов мозга обезьян, что позволило визуализировать процесс планирования движения.
- Сжатие и эффективность: Позволяет снизить объем памяти и ускорить обучение алгоритмов (например, SVM), проецируя данные из 10 000 измерений в 1 000, если данные действительно лежат на низкоразмерном подпространстве.
- Предостережение: Ын советует не использовать PCA для борьбы с переобучением — для этого лучше подходит регуляризация. Также он критически относится к попыткам интерпретировать отдельные собственные векторы (например, знаменитый метод eigenfaces), считая, что зачастую это «продукт воображения исследователя».
Перед внедрением PCA в проект лектор настоятельно рекомендует сначала попробовать обучить модель на исходных данных. PCA стоит добавлять в систему только при реальной необходимости в ускорении вычислений или экономии памяти.
🔊 Введение в ICA: Проблема «коктейльной вечеринки» 1:02:15
Метод независимых компонент (ICA — Independent Component Analysis) решает задачу разделения сигналов. Классический пример — «проблема коктейльной вечеринки»: как из записей нескольких микрофонов, где голоса накладываются друг на друга, выделить речь конкретного человека.
- Суть метода: В отличие от PCA, который ищет ортогональные компоненты вариации, ICA ищет независимые оси вариации.
- Модель: Наблюдаемые данные $x$ представлены как линейная комбинация скрытых источников $s$: $x = A \cdot s$, где $A$ — матрица смешивания.
- Цель: Найти матрицу $W$ (обратную к $A$), чтобы восстановить источники: $s \approx W \cdot x$.
Эндрю Ын отмечает, что для ICA существует две неустранимые неоднозначности: порядок источников (вы не знаете, какой голос «первый») и их знак (положительный или отрицательный). Однако для аудиосигналов инверсия знака не влияет на качество звука, поэтому такие «ошибки» не критичны для практики.
