В рамках курса Machine Learning Specialization от DeepLearning.AI разбираются фундаментальные аспекты построения классификаторов. В этом уроке рассматривается концепция «границы принятия решения» (decision boundary) — математического и визуального инструмента, который позволяет понять, как именно логистическая регрессия разделяет объекты на классы.
📐 Математическая основа прогнозирования 0:01
Логистическая регрессия вычисляет предсказания в два этапа . Сначала модель определяет промежуточное значение $z$, которое представляет собой линейную комбинацию признаков: $z = \mathbf{w} \cdot \mathbf{x} + b$ . Затем к этому значению применяется сигмоидная функция $g(z) = 1 / (1 + e^{-z})$, также называемая логистической функцией.
Результат работы функции $f(x)$ интерпретируется как вероятность того, что целевая переменная $y$ равна единице при заданных входных данных $x$ и параметрах $w$ и $b$ . Чтобы превратить эту вероятность в конкретный класс (0 или 1), необходимо установить порог.
Стандартный подход к классификации, по словам ведущего:
- Если $f(x) \ge 0,5$, модель предсказывает $\hat{y} = 1$ .
- Если $f(x) < 0,5$, модель предсказывает $\hat{y} = 0$ .
🌓 Где проходит граница: роль значения Z 2:18
Чтобы понять, в какой момент модель меняет своё решение, нужно проанализировать поведение сигмоиды . Функция $g(z)$ выдает значение больше или равное $0,5$ только в том случае, если её аргумент $z$ больше или равен нулю . Поскольку $z = \mathbf{w} \cdot \mathbf{x} + b$, условие предсказания первого класса сводится к простому неравенству: $w \cdot x + b \ge 0$ .
Линия (или гиперплоскость в многомерном пространстве), где выполняется равенство $w \cdot x + b = 0$, называется границей принятия решения . На этой линии модель находится в «нейтральном» состоянии, оценивая вероятность принадлежности к обоим классам как равную.
Рассмотрим пример с двумя признаками ($x_1$ и $x_2$) и заданными параметрами:
- Веса: $w_1 = 1, w_2 = 1$.
- Смещение (bias): $b = -3$ .
- Уравнение границы: $x_1 + x_2 - 3 = 0$, что эквивалентно прямой $x_1 + x_2 = 3$ .
В этом случае все точки справа от линии будут классифицированы как $1$, а слева — как $0$ .
🌀 Нелинейные границы и полиномы 6:42
Логистическая регрессия не ограничивается только прямыми линиями. Как и в случае с линейной регрессией, для моделирования сложных зависимостей можно использовать полиномиальные признаки .
Если добавить квадратичные члены, например, $z = w_1x_1^2 + w_2x_2^2 + b$, форма границы может радикально измениться. При параметрах $w_1 = 1, w_2 = 1$ и $b = -1$ уравнение границы примет вид окружности: $x_1^2 + x_2^2 = 1$ .
Возможности усложнения практически безграничны:
- Использование признаков более высокого порядка ($x^3, x_1x_2$) позволяет создавать границы в форме эллипсов или сложных кривых .
- Внутри такой сложной фигуры модель может предсказывать класс $1$, а за её пределами — класс $0$ .
- Без использования полиномов (только с исходными признаками $x_1, x_2, \dots$) граница логистической регрессии всегда будет оставаться линейной .
В завершение урока отмечается, что понимание визуализации границ помогает осознать диапазон моделей, которые можно построить. Следующим критически важным этапом является обучение модели — выбор оптимальных параметров $w$ и $b$ с помощью функции потерь и градиентного спуска .
