# Continual Safety Assurance: новая парадигма безопасности автономных систем

Источник: https://www.youtube.com/watch?v=jeJ4x1EyIFM
Канал: Stanford Online
Опубликовано: 06.12.2024

---

## Гарантии безопасности роботов: Continual Safety Assurance в эпоху машинного обучения
[[JUMP:00:11]]

Современные автономные системы, от беспилотных автомобилей до роботов-манипуляторов, всё чаще полагаются на методы машинного обучения для решения задач планирования и навигации. Однако внедрение ИИ создает серьезные вызовы для безопасности, так как существующие подходы часто полагаются на реактивные «заплатки» (safety bandages), которые не масштабируются и могут снижать эффективность работы систем. Сомил, профессор Стэнфордского университета, представил концепцию **Continual Safety Assurance** — замкнутого цикла обеспечения безопасности, где гарантии формально закладываются на этапе проектирования, адаптируются в процессе эксплуатации и итеративно улучшаются в течение жизненного цикла системы.

### 🛡 Концепция безопасности и методы анализа
[[JUMP:05:20]]

Основная задача анализа безопасности — определить, как робот может предотвратить попадание своей траектории в «множество состояний отказа» (failure set). Для решения этой задачи профессор Сомил предлагает использовать методы теории управления, в частности — **Hamilton-Jacobi (HJ) reachability analysis**.

Этот подход позволяет математически формализовать две ключевые составляющие безопасности:

*   **Определение опасных конфигураций:** Вычисление «трубки обратной достижимости» (backward reachable tube), которая представляет собой набор начальных состояний, неизбежно приводящих к аварии.
*   **Синтез безопасного контроллера:** Автоматическое вычисление алгоритма управления, который удерживает систему в безопасной области состояний.

По словам исследователя, хотя HJ-анализ эффективен, он сталкивается с проблемой масштабируемости (трудно применять для систем выше пяти измерений) и сложностью интеграции с реальными данными.

### 🧠 DeepReach: Нейронная аппроксимация безопасности
[[JUMP:14:15]]

Чтобы преодолеть ограничения традиционных методов, в лаборатории разработали метод **DeepReach**. Это самообучающийся подход, использующий нейронные сети для аппроксимации функции безопасности.

Преимущества метода:

1.  **Масштабируемость:** Нейронные представления позволяют работать с многомерными системами, недоступными для сеточных вычислений.
2.  **Встроенная безопасность:** Требования безопасности «запекаются» непосредственно в процесс обучения через функцию потерь, основанную на уравнениях в частных производных (Hamilton-Jacobi-Isaacs PDE).

Профессор Сомил продемонстрировал работу DeepReach на примере решения конфликтов трех летательных аппаратов, где метод позволил предотвратить столкновения в ситуациях, которые раньше не удавалось учесть из-за вычислительных ограничений. Для обеспечения строгих гарантий в DeepReach используется **конформное предсказание** (conformal prediction), позволяющее вычислить высокоуровневые вероятностные границы безопасности.

### 🔄 Динамическая адаптация и стресс-тестирование
[[JUMP:25:29]]

Реальный мир полон неопределенностей — от изменения условий ветра до неизвестных препятствий. Разработанный фреймворк поддерживает адаптацию контроллеров «на лету»:

*   **Параметрическая адаптация:** Модели обучаются как функция от условий среды (например, интенсивности ветра), позволяя системе мгновенно переключаться на безопасные сценарии при изменении внешних факторов.
*   **Лидар и латентные параметры:** Роботы-собаки могут использовать данные лидара для динамического обновления «карты безопасности», замедляясь при входе на скользкую поверхность, где неопределенность динамики возрастает.

### ⚠️ Выявление семантических отказов
[[JUMP:30:45]]

Отдельное направление работы — стресс-тестирование нейросетевых контроллеров для обнаружения критических сбоев. Метод позволяет превратить задачу поиска отказов в задачу достижимости. Примером стало сотрудничество с **Boeing**, где было выявлено, что система управления рулением авиалайнера ошибочно принимала дорожную разметку за центральную линию взлетно-посадочной полосы. 

Исследователи подчеркивают: важно отсеивать ошибки, которые не влияют на систему в целом, и концентрироваться именно на тех, что ведут к авариям. Полученный каталог «визуальных сбоев» можно использовать для обучения детекторов аномалий, которые будут активировать резервный контроллер при обнаружении опасного состояния.