Результат работы искусственного интеллекта — это не истина в последней инстанции, а лишь вероятностная догадка, требующая критического отношения. Чтобы понять, как машина учится принимать решения, нужно перестать видеть в ней «черный ящик» и взглянуть на математические принципы, превращающие сырые данные в прогнозы.
🔮 От вычислений к предсказаниям: новая роль искусственного интеллекта 11:30
Детерминированные системы против вероятностных прогнозов 11:42
Исторически компьютеры воспринимались как инструменты, обладающие исключительной точностью в строго определенных рамках. Как отмечает Брайан Ю (Brian Yu), традиционно сильной стороной вычислительных машин было выполнение математических расчетов и хранение структурированной информации . Если вы дадите современному компьютеру сложное уравнение, он решит его мгновенно и безошибочно, в то время как человеку потребовалось бы значительное время на вычисления вручную . Другой классический пример — цифровые словари: компьютер может хранить тысячи определений и выдавать нужное по первому запросу .
Такие задачи Брайан Ю называет детерминированными . В детерминированной системе один и тот же входной сигнал всегда приводит к одному и тому же результату: математическая формула всегда дает идентичный ответ, а поиск слова — одно и то же определение . Пользователь может быть полностью уверен в корректности этих данных. Однако современный мир требует от систем искусственного интеллекта работы в условиях неопределенности, где точного ответа может не существовать в принципе .
Сегодня мы хотим, чтобы ИИ умел строить догадки и делать прогнозы, которые, хоть и не претендуют на стопроцентную истинность, остаются крайне полезными . Брайан Ю приводит в пример оценку времени зарядки смартфона: когда вы подключаете устройство к сети, система сообщает, через сколько минут батарея будет заполнена . Это лишь прогноз — он может ошибаться на минуту или две, но он дает пользователю ценную информацию . Аналогично работают фильтры спама: телефон «угадывает», является ли входящий звонок нежелательным, основываясь на вероятностях, а не на абсолютном знании . Именно в способности делать эффективные предсказания и заключается главная стратегия современного ИИ .
Регрессия: искусство предсказывать числа 14:44
В основе предсказательных способностей ИИ лежит понятие модели — абстрактного представления реальности, которое преобразует входные данные (input) в выходные (output) . Брайан Ю выделяет два основных типа задач, которые решают такие модели. Если результатом работы ИИ является конкретное числовое значение, мы имеем дело с регрессией . Если же система должна распределить данные по категориям (например, отличить важное письмо от спама), речь идет о классификации, которую лектор обещает разобрать подробнее в следующих частях лекции .
Задачи регрессии окружают нас повсюду в повседневной жизни:
- Оценка времени до полной зарядки аккумулятора в минутах .
- Прогноз количества шагов, сделанных во время тренировки, на основе данных фитнес-трекера .
- Расчет оставшегося времени загрузки файла из интернета .
Во всех этих случаях ИИ не просто выдает «да» или «нет», а пытается вычислить непрерывную величину . Процесс предсказания в регрессии строится на поиске зависимости между переменными. Например, если мы хотим предсказать рост растения, нам нужно понять, как на него влияет количество солнечного света . Здесь солнечный свет выступает в роли входной переменной, а прирост растения в сантиметрах — в роли выходного числового значения . Чем больше света, тем больше (предположительно) будет рост; ИИ стремится формализовать эту связь, чтобы уметь рассчитывать результат для любого нового значения освещенности .
Обучающие данные как фундамент модели 21:30
Для того чтобы искусственный интеллект мог построить качественную модель и понять взаимосвязь между входом и выходом, ему необходима информация о мире. Брайан Ю подчеркивает, что без дополнительных данных ИИ не сможет сделать прогноз — у него просто не будет контекста для анализа . Решением этой проблемы становятся обучающие данные (training data) .
Обучающие данные — это набор примеров из прошлого опыта, где нам уже известны и входные, и выходные значения . Например, в базе данных может быть зафиксировано, что при определенном уровне входного сигнала «2» результат составил «4» . Однако одного примера недостаточно для обучения . Чтобы ИИ смог выявить паттерны и закономерности, ему требуются сотни или тысячи подобных пар «вход-выход» .
Именно на основе этого массива информации алгоритм «тренируется», пытаясь осознать, как изменения в одном параметре влияют на другой . Этот процесс позволяет ИИ построить внутреннее понимание реальности, которое в дальнейшем будет использоваться для обработки данных, которых система еще никогда не видела .
Визуализация и поиск корреляций 22:49
Самый эффективный способ понять структуру накопленных данных — это их визуализация. Брайан Ю демонстрирует, как числовые значения обучающей выборки переносятся на график . Традиционно входные данные (независимая переменная) располагаются на оси X, а выходные (результат) — на оси Y .
Процесс визуализации включает несколько этапов:
- Каждая пара данных из обучающей выборки превращается в точку на координатной плоскости .
- Например, если при входе «3» мы получили результат «6», точка ставится на соответствующем пересечении осей .
- После нанесения всех имеющихся точек перед исследователем (и алгоритмом) предстает наглядная картина взаимосвязей .
Глядя на такой график, можно определить характер корреляции между переменными. В примере с растениями мы часто видим положительную корреляцию: при движении вправо по оси X (увеличение света) точки уходят выше по оси Y (увеличение роста) . Однако в других задачах корреляция может быть отрицательной — например, зависимость времени зарядки от текущего уровня заряда батареи . Если же точки разбросаны хаотично, это свидетельствует об отсутствии связи, и в таком случае ИИ потребуется иная стратегия для поиска закономерностей . Подобная визуализация — это первый шаг к пониманию того, какую математическую функцию нужно применить для создания предсказательной модели, о чем более подробно пойдет речь при обсуждении линейной регрессии в следующей главе.
📈 Построение прогнозов: от простых линий к сложным моделям 37:43
Линейная регрессия: поиск математической закономерности 37:43
Когда мы пытаемся предсказать результат (например, рост растения), мы опираемся на накопленный опыт, который ранее в разговоре Брайан Ю и Дэвид Дж. Малан называли обучающими данными . Представьте график, где по горизонтальной оси отложено количество солнечного света, а по вертикальной — итоговый рост . Каждая точка на этом поле — это конкретный случай из прошлого. Основная задача ИИ здесь заключается в том, чтобы понять общую связь между этими значениями .
Брайан Ю объясняет, что идеальный способ описать такую связь — провести через точки линию, которая будет служить моделью для будущих прогнозов . В реальном мире данные редко выстраиваются в идеальный ряд; они «шумные» и разбросанные . Однако даже в «грязных» данных прослеживается тренд: чем больше света, тем выше растение .
Проведя аппроксимирующую линию, мы получаем инструмент прогнозирования:
- Мы берем новое значение (например, 5 часов солнца) .
- Находим соответствующую точку на нашей линии .
- Получаем предсказанный результат роста .
Хотя предсказание может не быть абсолютно точным — ведь точки редко лежат прямо на линии — оно дает максимально обоснованное предположение, основанное на имеющейся информации . Этот процесс поиска прямой, представляющей отношения между переменными, и называется линейной регрессией .
Функция потерь и минимизация ошибок 52:04
При построении модели возникает вопрос: какая из бесконечного множества возможных линий является «лучшей»? Некоторые варианты очевидно плохи — например, если линия идет вниз, а данные стремятся вверх . Но как выбрать между двумя похожими линиями? Для этого компьютер использует строгое математическое мерило — функцию потерь (loss function) .
Брайан Ю вводит два ключевых понятия для оценки точности :
- $y$ — реальное значение из обучающих данных (фактический рост) .
- $\hat{y}$ (y-hat) — предсказание, которое делает модель для той же точки .
Разница между этими значениями и есть ошибка. Чтобы превратить её в показатель качества всей модели, используются разные подходы. Самый простой — абсолютная ошибка (вычитание одного из другого и взятие модуля), которая показывает чистое расстояние между прогнозом и реальностью . Однако чаще применяется квадратичная ошибка, где разница возводится в квадрат .
Возведение в квадрат не только избавляет от отрицательных чисел, но и несет важный педагогический смысл для алгоритма: оно «штрафует» модель за большие промахи гораздо сильнее, чем за маленькие . Если ошибка равна 3, штраф составит 9; если ошибка 10, то штраф подскочит до 100 . Итоговым показателем становится средняя квадратичная ошибка (MSE — Mean Squared Error) — среднее арифметическое всех квадратов отклонений по всем точкам данных . Теперь задача компьютера становится предельно ясной: используя свою вычислительную мощь, он должен найти такие параметры линии, при которых MSE будет минимальным .
Мультивариативная регрессия: учет множества факторов 57:00
До этого момента рассматривались простейшие случаи с одной входной переменной. Но реальный мир гораздо сложнее . Рост растения зависит не только от солнца, но и от количества питательных веществ в почве . Чтобы повысить точность, ИИ переходит к мультивариативной регрессии, учитывающей сразу несколько факторов одновременно .
Брайан Ю приводит наглядные примеры из повседневной жизни, где предсказание одного числа зависит от комбинации входных данных:
- Зарядка телефона: время до 100% зависит не только от текущего уровня заряда, но и от температуры окружающей среды .
- Фитнес-трекеры: расчет количества шагов или сожженных калорий опирается на дистанцию и скорость движения .
- Загрузка файлов: время скачивания определяется размером файла и текущей скоростью интернет-соединения .
Суть алгоритма при этом остается прежней — поиск математической зависимости между всеми входящими переменными и итоговым результатом . С добавлением новых данных и новых факторов модель становится всё более детализированной и точной . Таким образом, регрессия позволяет нам превращать набор разрозненных цифр в надежные численные прогнозы .
Классификация как способ категоризации мира 59:22
Помимо предсказания конкретных чисел (регрессии), существует другой важнейший тип задач — классификация . Если в регрессии результатом является число на непрерывной шкале, то в классификации задача стоит иначе: нужно распределить данные по дискретным категориям .
Классическим примером является фильтрация почты: система должна решить, является ли входящее сообщение «спамом» или «обычным письмом» . Мы постоянно занимаемся классификацией в быту . Брайан Ю иллюстрирует это на примере сортировки одежды при переезде: у нас есть две коробки — «летняя одежда» и «зимняя одежда» . Каждая вещь, которую мы берем в руки, должна быть отнесена к одной из этих категорий . В отличие от регрессии, где нас интересовала «длина» или «вес», здесь нас интересует принадлежность к группе, что требует от алгоритмов ИИ совершенно иных подходов к анализу признаков объектов.
🧠 От признаков к связям: алгоритм K-ближайших соседей и нейронные сети 1:11:05
Когда мы сталкиваемся с задачей классификации — будь то сортировка одежды или предсказание погоды — мы подсознательно ищем закономерности. Брайан Ю иллюстрирует этот процесс на примере распределения вещей по коробкам «Лето» и «Зима» . Чтобы компьютер мог сделать то же самое, ему нужно понимать, на какие характеристики или «признаки» (features) данных стоит опираться . Ранее в курсе обсуждалось, как классификация помогает распределять объекты по категориям, но именно в этой части лекции фокус смещается на конкретные механизмы, позволяющие ИИ принимать решения на основе близости данных или структуры, имитирующей человеческий мозг.
Анализ признаков и логика классификации 1:11:18
Процесс классификации начинается с определения входных данных (inputs) и желаемых выходных категорий . Брайан Ю объясняет, что человек принимает решение о принадлежности вещи к летнему гардеробу, анализируя конкретные характеристики: толщину ткани, узор или длину рукава . Например, короткий рукав кажется логичным признаком для летней коробки . Однако реальные данные часто бывают неоднозначными: плотный жилет может иметь короткие рукава, но предназначаться для холодной погоды , а тонкая рубашка с длинным рукавом может быть идеальна для прохладного летнего вечера .
Цель машинного обучения в данном контексте — предоставить компьютеру примеры данных, уже распределенных по «коробкам», чтобы он самостоятельно вывел полезное правило для классификации новых объектов . Те же принципы применимы к прогнозированию погоды. Для предсказания дождя ИИ может использовать следующие признаки:
Используя большой объем обучающих данных, модель учится комбинировать эти переменные, чтобы рассчитать вероятность осадков на конкретную дату . Как отмечает Брайан Ю, задача ИИ — найти паттерн в этих признаках, который позволит точно предсказать, будет ли день «синим» (дождливым) или «красным» (солнечным) .
Алгоритм ближайшего соседа (K-NN) 1:25:36
Одним из самых интуитивно понятных методов классификации является алгоритм ближайшего соседа (Nearest Neighbor classification) . Брайан Ю демонстрирует его работу на одномерном графике, где по горизонтальной оси отложено атмосферное давление . Если у нас есть исторические данные о дождливых и солнечных днях, мы можем разместить их на этой оси . Когда появляется новая дата с известным давлением, возникает вопрос: к какой категории её отнести? .
Инстинктивное решение — посмотреть, к какой из уже известных точек новый объект находится ближе всего . Если значение давления максимально близко к исторически «солнечному» дню, алгоритм предскажет отсутствие дождя . Это и есть суть метода: новый объект наследует категорию своего ближайшего соседа из обучающей выборки .
Однако реальные данные редко бывают идеально сгруппированы; в них часто встречаются «выбросы» (outliers) . Например, может зафиксироваться дождливый день при аномально высоком давлении . В таких случаях классический метод ближайшего соседа может ошибиться, выбрав случайную аномальную точку . Чтобы сделать модель более устойчивой, используется модификация — алгоритм K-ближайших соседей (K-NN) . Вместо одного соседа алгоритм анализирует $K$ ближайших точек (например, 3 или 5) и принимает решение путем «голосования» большинством голосов .
Преимущество K-NN заключается в том, что он эффективно работает и с множеством признаков одновременно . Хотя человеку сложно представить пространство с шестью или более измерениями, для компьютера каждое дополнительное свойство (влажность, облачность и т.д.) — это просто еще одно число в расчетах .
Искусственные нейронные сети: архитектура и принципы 1:30:09
Более сложный и популярный подход в современном ИИ — нейронные сети, архитектура которых была вдохновлена человеческим мозгом . Брайан Ю поясняет, что биологический мозг состоит из множества нейронов, соединенных между собой и передающих электрические сигналы . Идея создания искусственной нейронной сети (Artificial Neural Network) заключалась в том, чтобы построить цифровую модель, основанную на аналогичных принципах .
Основным элементом такой сети является искусственный нейрон или «юнит» . В отличие от биологического прототипа, он хранит в себе числовое значение — обычно от 0 (выключен) до 1 (полная активация) или любое промежуточное десятичное число . Эти нейроны соединяются в сеть, где информация передается от одного узла к другому .
Брайан Ю схематично изображает простейшую структуру нейронной сети на доске :
- Входные нейроны (Input neurons): расположены в левой части схемы, каждый из них хранит значение определенного признака (например, уровень влажности или давления) .
- Связи: линии, по которым информация «течет» слева направо .
- Выходной нейрон (Output neuron): финальный узел, значение в котором формируется на основе данных от входных нейронов и служит итоговым предсказанием модели .
Такая структура позволяет сети аккумулировать информацию из разных источников для принятия единого решения, например, станет ли конкретный день дождливым . В последующих разделах лекции будут рассмотрены механизмы обучения этих сетей и роль скрытых слоев в анализе сложных паттернов.
🧠 Математика обучения: как нейросети находят закономерности 1:35:53
В основе современных технологий искусственного интеллекта лежит структура, вдохновленная человеческим мозгом, где информация передается между вычислительными единицами — нейронами . Брайан Ю объясняет, что задача компьютера в рамках этой архитектуры заключается в том, чтобы понять взаимосвязь между входными данными (например, метеорологическими показателями) и итоговым результатом (пойдет ли дождь) . Чтобы этот процесс стал возможным, программисты используют математические инструменты, превращающие набор абстрактных сигналов в конкретные предсказания.
Параметры модели: веса и смещения 1:40:14
Когда мы подаем данные на вход нейронной сети, мы не можем просто сложить все показатели. Каждый фактор имеет свою степень влияния на результат: например, влажность воздуха может быть важнее для предсказания дождя, чем текущая температура . Для учета этой значимости вводятся веса (weights) — числовые значения, которые определяют, насколько сильно конкретный входной параметр влияет на итоговый результат .
Математика процесса выглядит следующим образом:
- Каждый входной сигнал ($x_1, x_2, \dots$) умножается на соответствующий ему вес ($W_1, W_2, \dots$) .
- Если вес велик, вход оказывает значительное влияние на выход; если вес близок к нулю — влияние минимально .
- Положительный вес означает, что рост входного значения увеличивает итоговый результат, а отрицательный — уменьшает его .
Помимо весов, существует параметр смещения (bias) . Это дополнительное число, которое прибавляется к сумме в самом конце вычислений. Смещение позволяет модели учитывать общие закономерности, не зависящие от входных данных — например, тот факт, что в определенном городе дожди идут часто в принципе, вне зависимости от давления или облачности . Вместе веса и смещения называют параметрами модели . Именно их значения подбирает ИИ в процессе обучения, чтобы уравнение $y = (W_1 \cdot x_1) + (W_2 \cdot x_2) + \dots + B$ выдавало максимально точный результат .
Брайан Ю приводит наглядный пример расчета : если на входы поданы значения 4 и 5, веса равны 1 и 2, а смещение составляет 3, то нейрон вычислит: $(4 \cdot 1) + (5 \cdot 2) + 3 = 17$ . Если мы используем порог в 0 для классификации, то результат 17 будет интерпретирован как «1» (истина/да) . Если же изменить вес второго входа на -2, результат превратится в -3, что ниже порога и будет означать «0» (ложь/нет) .
Итеративное обучение нейронной сети 1:47:18
Обучение нейронной сети — это не одномоментное действие, а процесс постепенной корректировки весов и смещений на основе обучающих данных . Ранее в курсе Дэвид Дж. Малан и Брайан Ю уже касались темы важности качественных данных, и именно здесь они становятся фундаментом для «интеллекта» системы.
Процесс обучения выглядит как цикл обратной связи:
- Сеть делает предсказание на основе текущих (в начале часто случайных) весов .
- Результат сравнивается с реальным значением из обучающей выборки. Например, модель предсказала «0» (нет дождя), а на самом деле был «1» (дождь) .
- Обнаружив ошибку, алгоритм слегка корректирует веса и смещения, чтобы в следующий раз при аналогичных входах результат был ближе к правильному .
- Этот процесс повторяется тысячи и миллионы раз на множестве примеров .
С каждой итерацией модель делает всё более точные предсказания, «нащупывая» правильные числовые коэффициенты, которые описывают сложные взаимосвязи в данных . В конечном итоге обучение сводится к минимизации ошибок и оптимизации этой гигантской математической формулы .
Скрытые слои для моделирования сложных паттернов 1:53:37
Простая модель с одним слоем вычислений способна решать только линейные задачи — грубо говоря, она может провести прямую линию на графике, чтобы разделить две группы данных . Однако реальный мир сложнее. Брайан Ю демонстрирует пример с четырьмя точками (две красные и две синие), расположенными крест-накрест: никакая прямая линия не сможет идеально отделить синие точки от красных .
Чтобы справляться с такими нелинейными закономерностями, в архитектуру вводят скрытые слои (hidden layers) . Это промежуточные уровни нейронов между входом и выходом. Каждый нейрон в скрытом слое выполняет свою часть вычислений, а затем передает результат дальше . Благодаря такой многослойности сеть может строить гораздо более изощренные границы между категориями данных .
Современные нейросети могут содержать миллионы, миллиарды и даже триллионы параметров . В таких структурах каждый отдельный вес представляет собой крошечный фрагмент информации о взаимосвязях, но в совокупности они позволяют ИИ распознавать человеческую речь или генерировать сложные изображения .
Классификация по многим категориям и вероятности 1:56:12
До этого момента рассматривалась в основном бинарная классификация (да/нет). Однако на практике задач часто больше: например, распределить письма не просто на «спам» и «не спам», а выделить еще и категорию «важное» . Или рассортировать одежду по четырем сезонам, а не только на летнюю и зимнюю .
Для решения таких задач архитектуру выхода меняют: вместо одного нейрона создается несколько, по одному на каждую категорию . В этом случае нейросеть выдает не просто число, а вероятностное распределение . Например, на выходе мы можем получить:
Такой подход позволяет не только получить ответ, но и оценить степень уверенности искусственного интеллекта в своем решении . Если вероятности распределены почти поровну, это сигнал пользователю о том, что система сомневается.
В завершение лекции Брайан Ю подчеркивает критическое различие между ИИ и традиционным программированием. Обычный калькулятор детерминирован: он всегда следует жестким инструкциям и выдает гарантированно точный ответ . Нейросети же носят вероятностный характер — они делают предсказания на основе данных, а значит, могут ошибаться . Понимание этой природы ИИ необходимо для того, чтобы осознанно решать, в каких ситуациях мы можем доверять алгоритму, а в каких требуется дополнительная проверка человеком .
