Джон Хейс: «LLM станут мозгом беспилотных автомобилей»

The Cognitive Revolution 1,1 тыс. 1 ч 36 мин 3 мин 09.11.2023
Главное

Гонка за «автономным водителем»: Как OpenAI и Ghost Autonomy меняют правила игры 🚗 1:43

Индустрия беспилотного транспорта находится в точке перегиба, переходя от узкоспециализированных роботизированных систем к универсальному интеллекту. Основатель Ghost Autonomy Джон Хейс в интервью подкасту The Cognitive Revolution рассказал, как партнерство с OpenAI и внедрение мультимодальных больших языковых моделей (LLM) может навсегда изменить архитектуру беспилотных автомобилей, сделав их более надежными и «понимающими» мир.

🏛 Истоки: от хранилищ данных к автопилоту 6:03

Путь Джона Хейса в технологиях начался с поиска фундаментальных сдвигов. До создания Ghost Autonomy он был сооснователем Pure Storage, компании, которая в 2009 году сделала ставку на повсеместное внедрение флэш-памяти в корпоративные системы. Хейс увидел аналогичный потенциал в автономном вождении, когда в 2017 году решил основать Ghost Autonomy.

По мнению основателя, большинство компаний того времени совершали две стратегические ошибки:

Хейс сделал ставку на два фактора: постоянное улучшение потребительской электроники (камер и процессоров) и неизбежную победу методов искусственного интеллекта над традиционным написанием кода для робототехники.

🛠 Классика против нового подхода: архитектурный сдвиг 15:58

Традиционный стек автономии, производный от соревнований DARPA Urban Challenge, крайне сложен. Он разбит на жесткие этапы:

  1. Картирование: Создание 3D-сканов города для позиционирования с точностью до сантиметра.
  2. Восприятие: Определение объектов в сцене.
  3. Прогнозирование: Расчет траектории движения всех участников.
  4. Планирование: Поиск пути в пространстве, часто через сложные алгоритмы поиска.

Ghost Autonomy выбрала радикально иной путь. Вместо того чтобы управлять этими «ступенями» как отдельными командами, они стремятся к «end-to-end» системе — единой модели, которая на вход получает данные с камер, а на выходе выдает вектор движения.

🤖 OpenAI как «мозг» беспилотника 55:11

Главная проблема «роботизированного» подхода — бесконечные «краевые случаи» (edge cases), когда система ведет себя непредсказуемо из-за нюансов, не заложенных в код. Здесь на помощь приходят мультимодальные модели, такие как GPT-4.

По словам Хейса, это позволяет не обучать модель распознавать каждый конкретный дорожный знак, а просто спросить у системы, что делать в сложной ситуации (например, в зоне ремонта дороги с регулировщиком).

🚧 Барьеры и будущее индустрии

Почему мы до сих пор не ездим на беспилотниках повсеместно? Джон Хейс выделяет несколько причин:

Хейс считает, что индустрии нужен «ground swell» — волна общественного спроса. Для этого компании должны не просто ждать идеальной безопасности, а создавать продукты, которые люди захотят использовать лично. В долгосрочной перспективе, уверен гость, нас ждет будущее, где ИИ станет посредником во всех компьютерных интерфейсах — от Gmail до управления автомобилем — делая их доступными через обычную человеческую речь.

💬 Цитаты

«Галлюцинация — это на самом деле лучшая часть этих моделей, потому что именно в галлюцинации применяется весь здравый смысл.»

Джон Хейс 0:37

«Мы строим систему, которая из коробки становится драматически более надежной.»

Джон Хейс 0:25
👥 Спикеры
🔗 Упомянутые сайты и проекты
📖 Термины
Мультимодальная модель
Модель ИИ, способная обрабатывать и интерпретировать различные типы данных: текст, изображения и видео.
Edge case (краевой случай)
Редкая, неожиданная ситуация, выходящая за рамки стандартных сценариев работы системы.
Minimal Risk Condition (MRC)
Безопасное состояние, в которое переходит автономный автомобиль в случае возникновения неразрешимой ошибки.
End-to-end (сквозное обучение)
Подход в разработке ИИ, где одна модель обучается преобразовывать входные данные напрямую в целевое действие.
📊 Цифры
🗓 Хронология
  1. 2009 Джон Хейс участвовал в запуске Pure Storage, делая ставку на флэш-память.
  2. 2017 Джон Хейс основал Ghost Autonomy.
  3. Март 2023 OpenAI анонсировала GPT-4 с мультимодальными возможностями, что стало импульсом для Ghost Autonomy.
⚖️ Другая сторона
Искусственный интеллект Ghost Autonomy OpenAI автономное вождение мультимодальные модели