Гарантии безопасности роботов: Continual Safety Assurance в эпоху машинного обучения 0:11
Современные автономные системы, от беспилотных автомобилей до роботов-манипуляторов, всё чаще полагаются на методы машинного обучения для решения задач планирования и навигации. Однако внедрение ИИ создает серьезные вызовы для безопасности, так как существующие подходы часто полагаются на реактивные «заплатки» (safety bandages), которые не масштабируются и могут снижать эффективность работы систем. Сомил, профессор Стэнфордского университета, представил концепцию Continual Safety Assurance — замкнутого цикла обеспечения безопасности, где гарантии формально закладываются на этапе проектирования, адаптируются в процессе эксплуатации и итеративно улучшаются в течение жизненного цикла системы.
🛡 Концепция безопасности и методы анализа 5:20
Основная задача анализа безопасности — определить, как робот может предотвратить попадание своей траектории в «множество состояний отказа» (failure set). Для решения этой задачи профессор Сомил предлагает использовать методы теории управления, в частности — Hamilton-Jacobi (HJ) reachability analysis.
Этот подход позволяет математически формализовать две ключевые составляющие безопасности:
- Определение опасных конфигураций: Вычисление «трубки обратной достижимости» (backward reachable tube), которая представляет собой набор начальных состояний, неизбежно приводящих к аварии.
- Синтез безопасного контроллера: Автоматическое вычисление алгоритма управления, который удерживает систему в безопасной области состояний.
По словам исследователя, хотя HJ-анализ эффективен, он сталкивается с проблемой масштабируемости (трудно применять для систем выше пяти измерений) и сложностью интеграции с реальными данными.
🧠 DeepReach: Нейронная аппроксимация безопасности 14:15
Чтобы преодолеть ограничения традиционных методов, в лаборатории разработали метод DeepReach. Это самообучающийся подход, использующий нейронные сети для аппроксимации функции безопасности.
Преимущества метода:
- Масштабируемость: Нейронные представления позволяют работать с многомерными системами, недоступными для сеточных вычислений.
- Встроенная безопасность: Требования безопасности «запекаются» непосредственно в процесс обучения через функцию потерь, основанную на уравнениях в частных производных (Hamilton-Jacobi-Isaacs PDE).
Профессор Сомил продемонстрировал работу DeepReach на примере решения конфликтов трех летательных аппаратов, где метод позволил предотвратить столкновения в ситуациях, которые раньше не удавалось учесть из-за вычислительных ограничений. Для обеспечения строгих гарантий в DeepReach используется конформное предсказание (conformal prediction), позволяющее вычислить высокоуровневые вероятностные границы безопасности.
🔄 Динамическая адаптация и стресс-тестирование 25:29
Реальный мир полон неопределенностей — от изменения условий ветра до неизвестных препятствий. Разработанный фреймворк поддерживает адаптацию контроллеров «на лету»:
- Параметрическая адаптация: Модели обучаются как функция от условий среды (например, интенсивности ветра), позволяя системе мгновенно переключаться на безопасные сценарии при изменении внешних факторов.
- Лидар и латентные параметры: Роботы-собаки могут использовать данные лидара для динамического обновления «карты безопасности», замедляясь при входе на скользкую поверхность, где неопределенность динамики возрастает.
⚠️ Выявление семантических отказов 30:45
Отдельное направление работы — стресс-тестирование нейросетевых контроллеров для обнаружения критических сбоев. Метод позволяет превратить задачу поиска отказов в задачу достижимости. Примером стало сотрудничество с Boeing, где было выявлено, что система управления рулением авиалайнера ошибочно принимала дорожную разметку за центральную линию взлетно-посадочной полосы.
Исследователи подчеркивают: важно отсеивать ошибки, которые не влияют на систему в целом, и концентрироваться именно на тех, что ведут к авариям. Полученный каталог «визуальных сбоев» можно использовать для обучения детекторов аномалий, которые будут активировать резервный контроллер при обнаружении опасного состояния.
