# Лекс Фридман о Tesla AI Day: «Это самое впечатляющее инженерное усилие в моей жизни» Источник: https://www.youtube.com/watch?v=ABbDB6xri8o Канал: Lex Fridman Опубликовано: 20.08.2021 --- В недавнем обзоре Tesla AI Day Лекс Фридман (Lex Fridman) делится глубоким анализом того, что он называет самым впечатляющим инженерным усилием в области искусственного интеллекта, которое ему доводилось видеть. По его мнению, амбиции Tesla выходят далеко за рамки автомобилестроения, представляя собой попытку решить фундаментальную проблему восприятия и планирования в физическом мире. ## 🚀 Грандиозность задачи: Почему Tesla AI Day — это не только про машины [[JUMP:0:00]] По словам Лекса Фридмана (Lex Fridman), масштаб усилий Tesla в области алгоритмов, аннотирования данных, симуляции и вычислительных мощностей не имеет аналогов в ближайшей перспективе [0:37]. Ведущий подчеркивает, что задача автономного вождения и общего восприятия робототехники в реальном мире намного сложнее, чем принято считать в индустрии [0:12]. В рамках презентации были представлены ключевые компоненты этой экосистемы: * Архитектура и пайплайн нейронных сетей. * Специализированное оборудование Autopilot для инференса внутри автомобиля. * Вычислительная платформа Dojo для обучения моделей. * Система симуляции для обработки редких краевых случаев (edge cases). * Обобщенное применение этих технологий в гуманоидной форме — Tesla Bot [1:03]. ## 🧠 Архитектура нейронных сетей: Прыжок в векторное пространство [[JUMP:1:16]] Лекс Фридман (Lex Fridman) выделяет несколько «бриллиантовых» дизайнерских идей в архитектуре нейросетей Tesla, которые, по его мнению, являются качественным скачком вперед относительно текущего состояния дел в машинном обучении (state-of-the-art) [1:16]. ### Переход от изображений к векторам Ключевым инновационным шагом Лекс Фридман (Lex Fridman) считает предсказание в векторном пространстве, а не в пространстве изображений [1:30]. Традиционное компьютерное зрение работает с 2D-проекциями, но реальность происходит в 3D. По мнению ведущего, обучать ИИ на двухмерных картинках не имеет смысла, если цель — навигация в физическом мире [1:42]. ### Раннее слияние данных датчиков Вторая важная деталь — слияние данных с камер до начала процесса детекции объектов. * **Текущий метод:** слияние происходит на уровне многомасштабных признаков (multi-scale features) [2:07]. * **Мнение эксперта:** Лекс Фридман (Lex Fridman) отмечает, что это «очевидный, но очень сложный инженерный шаг» — объединять сырые данные со всех сенсоров, вместо того чтобы комбинировать уже готовые решения от каждого датчика в отдельности [2:19]. ### Пространственно-временное моделирование Tesla использует видеоконтекст для моделирования не только пространства, но и времени. Архитектура включает: * Пространственные рекуррентные нейронные сети (Spatial RNN). * 2D-сетку вокруг автомобиля, где каждая ячейка является RNN [2:33]. * Возможность строить карту и осуществлять планирование непосредственно в пространстве признаков нейросети [2:45]. Андрей Карпати (бывший директор по ИИ в Tesla), как упоминает Лекс Фридман (Lex Fridman), стремится двигаться к полностью сквозному (end-to-end) вождению, где слияние пространственных и временных данных происходит на самых ранних этапах работы сети [2:58]. ## ♟️ Планирование как игра в шахматы [[JUMP:3:25]] Оптимальное планирование в пространстве действий считается вычислительно неразрешимой задачей (intractable), поэтому инженеры обычно полагаются на эвристики [3:27]. Tesla предложила использовать нейронные сети в качестве эвристик, аналогично тому, как это было реализовано в проектах MuZero и AlphaZero от DeepMind для игры в го и шахматы [3:53]. Это позволяет значительно сократить (отсечь) дерево поиска в пространстве действий и найти план, близкий к глобальному оптимуму, не застревая в локальных минимумах [4:05]. ## 🛠️ Двигатель данных (Data Engine): Инструменты и автоматизация [[JUMP:4:58]] Чтобы нейросети могли предсказывать в векторном пространстве, данные должны быть размечены в этом же пространстве. Лекс Фридман (Lex Fridman) описывает этот процесс как сложный технологический цикл: 1. **Ручное аннотирование:** Tesla создала собственную команду и инструменты для разметки в векторном пространстве с последующей проекцией обратно в изображения [5:11]. 2. **Автоматическая разметка (Auto-labeling):** использование фрагментов данных (видео, инерциальные датчики, GPS) от множества автомобилей, находившихся в одной локации в разное время. Это позволяет реконструировать статичный мир и кинематику объектов [5:36]. 3. **Симуляция:** применяется для генерации редких сценариев, которые почти невозможно встретить в реальности (например, сцена с сотней пешеходов одновременно) [6:28]. По данным презентации, Tesla использует около 10 000 графических процессоров (GPU) для непрерывного обучения моделей. Фридман утверждает, что сеть полностью переобучается «от и до» каждые одну-две недели [7:18]. ## 💻 Dojo: Вычислительный монстр и «ИИ как сервис» [[JUMP:7:31]] Одной из самых амбициозных новинок стал компьютер Dojo, предназначенный исключительно для обучения моделей в дата-центрах. * **Чип D1:** собственная разработка Tesla с высокоскоростным вводом-выводом (I/O). * **Тренировочный тайл (Tile):** обладает мощностью 9 петафлопс (PFlops) [7:43]. * **Масштабируемость:** Tesla объединяет эти узлы в кластеры мощностью 1,1 экзафлопс (EFlops) [8:08]. Лекс Фридман (Lex Fridman) считает, что Dojo может стать конкурентом облачным сервисам AWS и Google Cloud, предлагая обучение ИИ как услугу (AI training as a service) для любых задач машинного обучения, а не только для автопилота [9:41]. ## 🤖 Tesla Bot: От инструмента к цифровому компаньону [[JUMP:10:09]] Завершая разбор, Лекс Фридман (Lex Fridman) рассуждает о Tesla Bot — гуманоидном роботе, использующем те же алгоритмы восприятия, что и автомобиль. Ведущий признается, что его давняя мечта — создание робота-друга, а не просто слуги для скучных и опасных задач [10:21]. По мнению Лекса Фридмана (Lex Fridman): * Tesla может решить аппаратную часть проблемы (восприятие, движение, манипуляция объектами) [10:48]. * Сам Фридман надеется внести вклад в решение проблемы взаимодействия человека и робота и создания эмоциональной связи [10:55]. Фридман заключает, что представленный на Tesla AI Day итеративный цикл сбора данных, обучения и развертывания не имеет «потолка» и сулит захватывающее будущее для всей области робототехники [9:13].