# Эндрю Ын: «Первый деплой модели — это лишь середина пути» Источник: https://www.youtube.com/watch?v=UyEtTyeahus Канал: DeepLearning.AI Опубликовано: 21.04.2022 --- Развертывание обученной модели машинного обучения в реальной среде — один из самых волнительных моментов любого проекта. Однако, по мнению основателя DeepLearning.AI Эндрю Ына, на этом работа инженера не заканчивается, а только переходит в самую сложную фазу. В этом материале разбираются ключевые препятствия на пути к успешному деплою: от статистических аномалий до архитектурных решений программной инженерии. ## 📉 Почему модели «протухают»: концептуальный и информационный дрейф [[JUMP:00:26]] Одной из главных проблем после запуска системы является изменение данных с течением времени. Эндрю Ын выделяет две основные категории статистических проблем: «дрейф данных» (data drift) и «концептуальный дрейф» (concept drift) [00:26]. В качестве примера из промышленного сектора Ын приводит систему детекции царапин на смартфонах [00:39]. Если алгоритм обучался на фотографиях при одном освещении, а затем в заводском цехе сменили лампы, распределение данных меняется, и точность модели падает. Аналогичная ситуация наблюдается в системах распознавания речи. При их создании разработчики обычно используют два типа данных: * **Закупленные данные:** лицензионные аудиозаписи с готовыми транскриптами от сторонних поставщиков [01:06]. * **Исторические данные:** записи реальных пользователей приложения (собранные с их явного согласия и с соблюдением правил приватности) [01:33]. Чтобы минимизировать риски, Эндрю Ын рекомендует при тестировании использовать валидационные и тестовые наборы данных, собранные за последние несколько месяцев [01:59]. Это позволяет убедиться, что система адекватно реагирует на современные реалии, однако даже это не гарантирует стабильности в будущем. По словам Ына, данные могут измениться из-за появления новых моделей смартфонов с другими микрофонами или из-за естественной эволюции языка [02:37]. ### Скорость изменений: от эволюции к шоку [[JUMP:02:52]] Изменения в данных могут происходить с разной скоростью: 1. **Постепенные изменения:** например, английский язык меняется медленно, словарный запас пополняется годами [02:52]. 2. **Внезапные шоки:** пандемия COVID-19 стала критическим испытанием для систем антифрода [03:05]. Как отмечает Ын, в начале пандемии многие системы защиты кредитных карт перестали работать корректно. Паттерны покупок резко изменились: люди, которые редко покупали онлайн, начали делать это постоянно [03:32]. Это привело к тому, что антифрод-системы начали ложно блокировать транзакции, и командам инженеров пришлось в экстренном порядке собирать новые данные для переобучения моделей [03:45]. ### Разница между Data Drift и Concept Drift [[JUMP:04:12]] Эндрю Ын вносит ясность в терминологию, которая часто используется непоследовательно: * **Дрейф данных (Data Drift):** изменение распределения входных данных $X$ [04:12]. Например, если в новостях внезапно начинают часто упоминать нового политика, которого раньше не было в выборке. Или если на рынке недвижимости люди начинают строить дома гораздо большего или меньшего размера, чем раньше [05:33]. * **Концептуальный дрейф (Concept Drift):** изменение самой связи между $X$ и целевой переменной $Y$ [04:27]. Примером может служить стоимость жилья: из-за инфляции дом того же размера ($X$), что и пять лет назад, теперь будет стоить значительно дороже ($Y$) [05:06]. В случае с COVID-19 концептуальный дрейф проявился в том, что странные онлайн-покупки, ранее считавшиеся признаком кражи карты, стали нормальным поведением пользователя [04:40]. ## 💻 Архитектура сервиса: от облака до периферийных вычислений [[JUMP:06:14]] Помимо статистических нюансов, успешный деплой требует решения ряда инженерных задач. При проектировании сервиса предсказаний необходимо ответить на несколько критических вопросов. **1. Режим работы: реальное время или пакетная обработка?** [[JUMP:06:39]] * **Real-time:** для распознавания речи требуется ответ в течение полусекунды [06:51]. * **Batch:** для анализа электронных медицинских карт в больницах вполне допустима пакетная обработка данных раз в сутки, например, ночью [07:03]. **2. Место вычислений: облако, Edge или браузер?** [[JUMP:07:56]] Выбор зависит от требований к задержке и надежности связи: * **Облако (Cloud):** дает огромные вычислительные мощности и высокую точность (актуально для большинства современных систем распознавания речи) [07:56]. * **Периферия (Edge):** используется в автомобильных системах или на заводах [08:23]. Ын подчеркивает, что на фабриках деплой практически всегда происходит на Edge-устройствах, так как производство не может зависеть от стабильности интернет-соединения [08:35]. * **Браузер:** современные инструменты позволяют запускать алгоритмы обучения и предсказания прямо в веб-браузере пользователя [09:00]. ### Ресурсы и производительность [[JUMP:09:12]] Эндрю Ын делится личным опытом: часто случается ситуация, когда нейросеть обучается на мощнейшем GPU, но для деплоя компания не может позволить себе аналогичное дорогостоящее оборудование [09:12]. В таких случаях инженерам приходится сжимать модель или снижать её сложность. Ключевые метрики производительности: * **Latency (Задержка):** например, в распознавании речи на ответ пользователю дается около 500 мс, из которых на саму модель можно выделить лишь 300 мс [09:52]. * **Throughput (Пропускная способность):** измеряется в QPS (queries per second — запросов в секунду). Система должна быть спроектирована так, чтобы выдерживать целевую нагрузку (например, 1000 QPS) при имеющихся серверных ресурсах [10:33]. ## 🔒 Безопасность, конфиденциальность и мониторинг [[JUMP:10:50]] Логирование данных является обязательным условием для последующего анализа и переобучения модели [10:50]. Однако это напрямую сталкивается с вопросами безопасности. По словам Ына, требования к защите данных крайне разнятся: работа с электронными медицинскими картами требует высочайшего уровня конфиденциальности и соблюдения регуляторных норм, в то время как в других сферах требования могут быть мягче [11:14]. ## 🏁 Первая публикация — это лишь половина пути [[JUMP:11:53]] Подводя итог, Эндрю Ын развенчивает миф о том, что запуск модели — это финишная прямая [12:44]. По мнению автора курса, первый деплой означает, что вы прошли только 50% пути. Вторая половина работы — это мониторинг, поддержка, сбор обратной связи и обновление модели в условиях постоянного дрейфа данных [12:59]. Подходы к «нулевому» деплою (когда системы раньше не существовало) и к обновлению уже работающего алгоритма существенно различаются, и эти стратегии станут темой следующих уроков [13:11].