# «Z равно нулю»: как математика разделяет классы в обучении от DeepLearning.AI

Источник: https://www.youtube.com/watch?v=0az8RjxLLPQ
Канал: DeepLearning.AI
Опубликовано: 01.12.2022

---

В рамках курса Machine Learning Specialization от DeepLearning.AI разбираются фундаментальные аспекты построения классификаторов. В этом уроке рассматривается концепция «границы принятия решения» (decision boundary) — математического и визуального инструмента, который позволяет понять, как именно логистическая регрессия разделяет объекты на классы.

## 📐 Математическая основа прогнозирования
[[JUMP:0:01]]

Логистическая регрессия вычисляет предсказания в два этапа [0:15]. Сначала модель определяет промежуточное значение $z$, которое представляет собой линейную комбинацию признаков: $z = \mathbf{w} \cdot \mathbf{x} + b$ [0:30]. Затем к этому значению применяется сигмоидная функция $g(z) = 1 / (1 + e^{-z})$, также называемая логистической функцией.

Результат работы функции $f(x)$ интерпретируется как вероятность того, что целевая переменная $y$ равна единице при заданных входных данных $x$ и параметрах $w$ и $b$ [1:09]. Чтобы превратить эту вероятность в конкретный класс (0 или 1), необходимо установить порог.

Стандартный подход к классификации, по словам ведущего:

*   Если $f(x) \ge 0,5$, модель предсказывает $\hat{y} = 1$ [1:49].
*   Если $f(x) < 0,5$, модель предсказывает $\hat{y} = 0$ [2:04].

## 🌓 Где проходит граница: роль значения Z
[[JUMP:2:18]]

Чтобы понять, в какой момент модель меняет своё решение, нужно проанализировать поведение сигмоиды [2:47]. Функция $g(z)$ выдает значение больше или равное $0,5$ только в том случае, если её аргумент $z$ больше или равен нулю [3:03]. Поскольку $z = \mathbf{w} \cdot \mathbf{x} + b$, условие предсказания первого класса сводится к простому неравенству: $w \cdot x + b \ge 0$ [3:18].

Линия (или гиперплоскость в многомерном пространстве), где выполняется равенство $w \cdot x + b = 0$, называется границей принятия решения [5:20]. На этой линии модель находится в «нейтральном» состоянии, оценивая вероятность принадлежности к обоим классам как равную.

Рассмотрим пример с двумя признаками ($x_1$ и $x_2$) и заданными параметрами:

*   Веса: $w_1 = 1, w_2 = 1$.
*   Смещение (bias): $b = -3$ [4:41].
*   Уравнение границы: $x_1 + x_2 - 3 = 0$, что эквивалентно прямой $x_1 + x_2 = 3$ [5:47].

В этом случае все точки справа от линии будут классифицированы как $1$, а слева — как $0$ [6:01].

## 🌀 Нелинейные границы и полиномы
[[JUMP:6:42]]

Логистическая регрессия не ограничивается только прямыми линиями. Как и в случае с линейной регрессией, для моделирования сложных зависимостей можно использовать полиномиальные признаки [6:57].

Если добавить квадратичные члены, например, $z = w_1x_1^2 + w_2x_2^2 + b$, форма границы может радикально измениться. При параметрах $w_1 = 1, w_2 = 1$ и $b = -1$ уравнение границы примет вид окружности: $x_1^2 + x_2^2 = 1$ [7:40].

Возможности усложнения практически безграничны:

*   Использование признаков более высокого порядка ($x^3, x_1x_2$) позволяет создавать границы в форме эллипсов или сложных кривых [8:43].
*   Внутри такой сложной фигуры модель может предсказывать класс $1$, а за её пределами — класс $0$ [9:21].
*   Без использования полиномов (только с исходными признаками $x_1, x_2, \dots$) граница логистической регрессии всегда будет оставаться линейной [9:50].

В завершение урока отмечается, что понимание визуализации границ помогает осознать диапазон моделей, которые можно построить. Следующим критически важным этапом является обучение модели — выбор оптимальных параметров $w$ и $b$ с помощью функции потерь и градиентного спуска [10:31].