В шестом уроке курса специализации Machine Learning Engineering for Production (MLOps) от DeepLearning.AI основатель проекта Эндрю Ын подробно разбирает критический этап перехода от обучения модели к её эксплуатации. Основная идея занятия заключается в том, что деплой — это не разовое включение системы, а постепенный процесс управления рисками, требующий выбора специфических паттернов развёртывания в зависимости от бизнес-задач.
🛠️ Сценарии и общие принципы развёртывания 0:00
Процесс внедрения алгоритма машинного обучения в продакшен сильно зависит от контекста задачи. По словам Эндрю Ына, можно выделить три основных типа использования систем :
- Запуск нового продукта или функции. Например, внедрение сервиса распознавания речи, которого раньше не было в портфеле компании . В этом случае стандартным подходом является постепенное наращивание трафика.
- Автоматизация или помощь в выполнении задач, которые ранее делал человек. Типичный пример — инспекция смартфонов на заводе на наличие царапин . Здесь наличие «человеческого эталона» открывает дополнительные возможности для мониторинга.
- Замена существующей ML-системы на обновлённую версию. Цель здесь — заменить старую модель на более эффективную .
Для любого из этих сценариев характерны две ключевые темы: постепенное наращивание нагрузки (ramp up) с постоянным мониторингом и возможность быстрого отката (rollback) к предыдущему состоянию, если алгоритм покажет неудовлетворительные результаты .
👁️ Shadow Mode: параллельный запуск без риска 2:22
Один из наиболее безопасных паттернов, особенно эффективный при автоматизации человеческого труда, — это «теневое развёртывание» (Shadow Mode). В этом режиме алгоритм работает параллельно с человеком или старой системой, но его выводы никак не влияют на реальные бизнес-процессы .
Принципы работы Shadow Mode:
- Алгоритм получает те же данные, что и человек-инспектор.
- Система выносит свои предсказания «в тишине» (в логах).
- Результаты работы модели сравниваются с решениями человека, чтобы оценить точность .
Эндрю Ын отмечает, что это позволяет собрать данные о производительности алгоритма в реальных условиях, прежде чем доверить ему принятие каких-либо решений на заводе . Если на смартфоне есть царапина, которую человек заметил, а модель — нет, Shadow Mode позволит выявить эту ошибку без выпуска бракованной продукции .
🐦 Canary Deployment: проверка на малой доле трафика 4:08
Когда команда обретает уверенность в модели, она переходит к «канареечному развёртыванию» (Canary Deployment). Этот паттерн предполагает передачу новой модели лишь малой части реального трафика — например, всего 5% или даже меньше .
Название метода отсылает к английской идиоме «канарейка в угольной шахте» (canary in a coal mine). В прошлом шахтёры брали с собой птиц, чтобы те первыми реагировали на утечку газа . Аналогично в ML:
- Если новая модель совершает критические ошибки, они затронут лишь небольшую долю пользователей или продукции .
- Инженеры мониторят систему и только при отсутствии проблем постепенно увеличивают процент трафика, направляемого на новую модель .
🔵🟢 Blue-Green Deployment: мгновенное переключение и откат 5:27
Ещё один классический паттерн — сине-зелёное развёртывание (Blue-Green Deployment). В этой схеме используются две идентичные среды: «синяя» (старая версия ПО) и «зелёная» (новая версия с ML-алгоритмом) .
Процесс переключения выглядит следующим образом:
- Роутер направляет весь трафик на синюю версию.
- Инженеры запускают зелёную версию и подготавливают её к работе .
- В определённый момент роутер мгновенно перенаправляет 100% трафика на зелёную версию .
Главным преимуществом такой схемы Эндрю Ын называет простоту отката. Если в новой версии обнаружится баг, достаточно перенастроить роутер обратно на синюю версию, которая всё это время продолжала работать в фоновом режиме . Хотя классический Blue-Green подразумевает резкое переключение, спикер уточняет, что его можно комбинировать с постепенным переносом нагрузки .
📊 Спектр автоматизации и Human-in-the-Loop 7:38
Одной из самых полезных концепций Эндрю Ын считает взгляд на деплой не как на бинарное состояние (включено/выключено), а как на спектр уровней автоматизации .
По мнению спикера, существует пять основных этапов внедрения ИИ :
- Отсутствие автоматизации: всё делает человек.
- Shadow Mode: модель работает параллельно, но её решения не используются.
- AI Assistance (Помощь ИИ): система подсвечивает подозрительные зоны (например, царапины на смартфоне) в интерфейсе, чтобы помочь инспектору быстрее принять решение . Дизайн интерфейса здесь становится критически важным фактором.
- Partial Automation (Частичная автоматизация): если модель уверена в ответе на 99%, она принимает решение сама. Если уверенность низкая, задача передаётся человеку . Это позволяет использовать вердикты человека как новые данные для дообучения модели .
- Full Automation (Полная автоматизация): алгоритм принимает каждое решение самостоятельно .
Эндрю Ын утверждает, что для многих индустриальных задач (например, на заводах) оптимальной точкой часто является частичная автоматизация или помощь ИИ, в то время как в потребительском интернете (поиск Google, онлайн-перевод) полная автоматизация неизбежна из-за огромных масштабов трафика .
