# Профессор Амнон Шашуа: «Камера — самый дешевый и богатый источник данных для беспилотника»

Источник: https://www.youtube.com/watch?v=kp3ik5f3-2c
Канал: Mobileye
Опубликовано: 16.01.2015

---

# Будущее компьютерного зрения и беспилотного вождения: технологии Mobileye

Профессор Амнон Шашуа, сооснователь и технический директор компании Mobileye, представляет видение развития систем помощи водителю (ADAS) и перехода к полностью автономному управлению. Основной акцент сделан на использовании камер как ключевого сенсора, применении глубокого обучения для моделирования среды и разработке специализированных микропроцессоров EyeQ, способных конкурировать с решениями суперкомпьютерного класса при значительно меньшем энергопотреблении.

## 🚗 Эволюция и революция в системах безопасности
[[JUMP:01:11]]

Амнон Шашуа выделяет два основных направления в индустрии вождения: эволюционное и революционное [01:11]. Эволюционный путь связан с активной безопасностью и системами предотвращения столкновений, такими как автономное экстренное торможение (AEB) [01:23]. Благодаря регуляторным мерам и рейтингам безопасности, к 2018–2019 годам практически каждый новый автомобиль будет оснащен подобными датчиками, где камера играет критическую роль [01:36].

Революционный путь — это переход к полностью автоматизированному вождению, который трансформирует сам процесс передвижения [01:50]. Текущие возможности систем Mobileye уже позволяют детально интерпретировать визуальное поле:

*   Детектирование транспортных средств, пешеходов и велосипедистов [02:27].
*   Распознавание дорожных знаков и сигналов светофора [02:41].
*   Отслеживание разметки полос движения [02:56].

Эти данные обрабатываются с частотой 36 кадров в секунду на чипах EyeQ3 [03:49]. С 2007 года Mobileye последовательно выводила на рынок инновации: от первого распознавания знаков в BMW 7 серии до систем обнаружения пешеходов в Volvo [04:15]. В текущем периоде (на момент выступления) компания запускает системы полного экстренного торможения на базе одной камеры совместно с Audi и систему обнаружения крупных животных (лосей, оленей) с Volvo [05:12].

## 👁️ Камера как доминирующий сенсор
[[JUMP:06:20]]

По мнению Шашуа, происходит «вытеснение камерами» (camera disruption) традиционных радаров. Если раньше такие функции, как адаптивный круиз-контроль (ACC) или предупреждение о столкновении, были прерогативой радаров, то теперь они успешно реализуются с помощью монокулярных камер [06:33].

Профессор приводит три ключевых аргумента в пользу камер:

1.  **Информативность:** Камера — это самый богатый источник необработанных данных, способный отразить истинную сложность сцены [07:12].
2.  **Стоимость:** Сам сенсор (imager) стоит всего несколько долларов, что недостижимо для других типов датчиков [07:25].
3.  **Технологический прогресс:** Постоянно растет динамический диапазон и разрешение матриц [07:39].

Особое внимание Шашуа уделяет проблеме «ложных срабатываний» (false positive). В то время как «ложные пропуски» (false negative) вредят рейтингу безопасности, ложное торможение на пустой трассе — это катастрофа, ведущая к отзыву автомобилей [08:20]. Для борьбы с этим Mobileye использует базу данных из более чем 10 миллионов миль записанных поездок, собранных в ходе сотрудничества с 21 автопроизводителем [10:08].

## 🧠 Глубокое обучение и моделирование среды
[[JUMP:13:52]]

Для перехода к автоматизированному вождению недостаточно просто улучшать текущие функции. Шашуа утверждает, что требуются технологические скачки в понимании визуальной информации [14:17]. Существует две крайности: подход Google (запись огромных массивов 3D-данных перед поездкой) и подход Mobileye — «чувствуй и понимай» (sense and understand) [14:44].

Mobileye придерживается идеи минимального использования карт (всего 1 МБ данных на 1 час поездки) и максимальной интерпретации сцены в реальном времени [16:29]. Это необходимо, так как во многих регионах (например, в Детройте или Израиле) дорожная разметка может быть плохой или отсутствовать вовсе [17:32].

Ключевые задачи «завтрашнего дня» по версии Шашуа:

*   **Планирование пути (Path Planning):** Определение траектории на основе холистических признаков (барьеры, края дорог, движение других авто), а не только разметки [19:02].
*   **Экологическое моделирование (Environmental Modeling):** Маркировка каждого пикселя изображения. Система должна понимать, является ли пиксель частью дороги, бордюра, ограждения или транспортного средства [18:36].

Для решения этих задач компания последние два года интегрирует технологии глубокого обучения (Deep Learning) в архитектуру EyeQ [19:27]. В отличие от академических моделей (таких как AlexNet), требующих огромных вычислительных мощностей, Mobileye адаптировала сети так, чтобы они занимали всего 5% ресурсов чипа EyeQ3 и 0,3% будущего EyeQ4 [21:49].

## 💻 Аппаратная битва: EyeQ против NVIDIA
[[JUMP:28:49]]

Шашуа вступил в заочную полемику с компанией NVIDIA. Он упомянул демонстрацию платы zFAS от Audi, где использовался чип Tegra X1 [29:16]. По словам профессора, публика не знала, что на той же плате находится чип EyeQ3, который и выполнял все задачи по компьютерному зрению, показанные в презентации [29:59].

Анализируя производительность, Шашуа приводит следующие сравнения:

*   NVIDIA Tegra X1 позиционируется как суперкомпьютер с производительностью 1 терафлопс, в то время как EyeQ3 «на бумаге» имеет в четыре раза меньше [31:20].
*   **Эффективность (Utilization):** Утилизация специализированного EyeQ3 при работе с нейросетями составляет 80% (0.8), тогда как у универсального графического процессора Tegra — всего 28% (0.28) [32:25].
*   **Энергопотребление:** EyeQ3 потребляет 2,5 Вт, что критично для автомобилей, в то время как Tegra X1 требует 10 Вт [32:54].
*   **Размер кристалла:** При производстве по одинаковому техпроцессу чип Mobileye был бы в 6 раз меньше по площади, что напрямую влияет на стоимость [33:45].

Следующее поколение, EyeQ4 (образцы ожидаются в октябре текущего года), будет обладать производительностью 2,5 терафлопса. С учетом высокой эффективности использования ресурсов, Шашуа считает, что этот чип превзойдет конкурентов в задачах компьютерного зрения более чем в 10 раз [34:40].

## 🛣️ Будущее: Дорожная карта автоматизации
[[JUMP:36:31]]

Профессор предлагает концепцию «трифокальной» системы камер для беспилотников:

1.  **Широкоугольная (150°):** Для обнаружения пешеходов и велосипедистов в городе, а также светофоров [36:04].
2.  **Основная:** Стандартное поле зрения для текущих задач ADAS.
3.  **Узкоугольная:** Для обнаружения мелких объектов (мусора, обломков, ям размером 10 см) на расстоянии 80 метров и более, что необходимо для безопасного движения на высокой скорости без участия рук [11:42].

Прогноз развития индустрии от Mobileye:

*   **2015–2016:** Автопилот для движения по шоссе (Highway Autopilot) [36:44].
*   **2017–2018:** Автоматизация движения в городском трафике [36:57].
*   **Дальнейшая перспектива:** Полностью автономное вождение (Driver out of the loop) при появлении развитой V2V-коммуникации (связь между автомобилями) и детальных карт [37:09].

Шашуа заключает, что камеры станут доминирующим сенсором, а радары и лидары (Lidar) будут использоваться для избыточности и повышения надежности в тех случаях, когда это позволяет стоимость системы [37:22].