Стартап World Labs, возглавляемый пионером ИИ Фей-Фей Ли, объявил о поглощении компании SceniX. Это событие знаменует собой важный шаг в реализации амбициозной цели: создании «пространственного интеллекта» (spatial intelligence), который позволит машинам понимать физический мир так же глубоко, как современные языковые модели понимают текст. В беседе с партнёром a16z Мартином Касадо основатели компаний раскрыли детали своего видения «больших моделей мира» и объяснили, почему симуляция является единственным способом преодолеть дефицит данных в робототехнике.
🚀 Пространственный интеллект: Новая граница ИИ 1:08
Фей-Фей Ли определяет World Labs не просто как стартап, а как лабораторию фронтирных моделей, работающую над тем, что она называет «пространственным интеллектом» . По её словам, это способность ИИ не только генерировать контент, но и понимать, рассуждать и взаимодействовать с пространством, будь оно физическим или виртуальным .
Центральным элементом этой стратегии является создание больших моделей мира (World Models). Фей-Фей Ли подчеркивает:
- Пространственный интеллект позволяет ИИ оперировать в «мультивселенной», где технологии дают возможность разработчикам действовать в различных цифровых и физических пространствах .
- Хотя робототехника является наиболее очевидным применением, технологии World Labs востребованы в дизайне, игровой индустрии и визуальных эффектах (VFX) .
- Цель проекта — создать ИИ, который понимает геометрию и физику объектов, обеспечивая консистентность восприятия во времени и пространстве .
🤝 Слияние World Labs и SceniX: От клиента к части команды 6:04
Сотрудничество между Фей-Фей Ли и Юньчжу Ли имеет давнюю историю — Юньчжу был постдоком Фей-Фей в Стэнфорде . Однако решение об объединении компаний возникло спонтанно. Как рассказала Фей-Фей Ли, SceniX изначально пришла в World Labs как обычный клиент .
Команда Юньчжу Ли начала использовать Marble — базовую модель World Labs, которая преобразует текст или изображения в геометрически точные 3D-миры . Поняв, что цели команд полностью совпадают, они решили объединить усилия.
Команда SceniX привносит в World Labs уникальные компетенции:
- Юньчжу Ли (Yunzhu Li): Эксперт по робототехнике «полного стека» — от аппаратного обеспечения до алгоритмов обучения .
- Чанси Чжэн (Changxi Zheng): Профессор Колумбийского университета, специалист мирового уровня в области симуляции и визуальных эффектов .
- Санни (Sunonni): Опытный инженерный лидер, ранее работавший в Amazon над стеками компьютерного зрения .
🏗️ Концепция Real-to-Sim-to-Real: Решение проблемы дефицита данных 10:55
Главная проблема современной робототехники, по мнению участников дискуссии, заключается в катастрофической нехватке данных. В отличие от языковых моделей, которые обучаются на огромных массивах текста из интернета, данные о взаимодействии роботов с физическим миром собирать дорого, долго и опасно .
Юньчжу Ли предлагает решение через пайплайн Real-to-Sim-to-Real:
- Real-to-Sim: Создание цифрового двойника реальной среды с точным соответствием внешнего вида, геометрии и динамики .
- Sim: Масштабируемое обучение и тестирование роботов в этой цифровой среде.
- Sim-to-Real: Перенос обученных навыков обратно на физическое оборудование .
Ключевым преимуществом этого подхода является «выравнивание» (alignment): всё, что происходит в цифровом мире, должно иметь максимально точное соответствие в реальности . Это позволяет заменить медленный процесс сбора данных в реальном мире бесконечным потоком синтетических данных, генерируемых в симуляции.
🧠 Базовые модели для робототехники: Больше, чем видео 12:35
Обсуждая текущие тренды, Мартин Касадо отметил популярность подхода «видеомоделей» для обучения роботов . Однако Юньчжу Ли считает этот метод недостаточным из-за отсутствия консистентности. В обычных видеомоделях объект может внезапно исчезнуть или изменить форму при взаимодействии, что дает роботу ложные сигналы .
Подход World Labs строится на других принципах:
- Мультимодальность: Модель должна принимать текст, изображения, карты глубины и, что критически важно, — действия (actions) .
- Действие как входной и выходной сигнал: Модель может работать как «симулятор вперед», предсказывая изменения среды после действия, или как «модель политики», выбирая действие для достижения цели .
- Консистентность: Создаваемые миры стабильны в пространстве, времени и при смене точек обзора .
🧪 Роль симуляции и «контрфактическое мышление» 19:38
Фей-Фей Ли приводит глубокую аналогию с человеческим интеллектом: люди постоянно проводят симуляции в голове, планируя действия. Она называет это «контрфактическим мышлением» — способностью проигрывать сценарии, которые еще не случились или не могут случиться в реальности .
Примеры использования симуляции:
- Спорт: Тренеры и игроки моделируют игровые ситуации на доске или в голове перед матчем (в качестве примера Фей-Фей привела победу сборной Испании на чемпионате мира) .
- Беспилотные авто: Компания Waymo использует миллиарды часов симуляции, что значительно превышает их реальный пробег . По мнению Фей-Фей Ли, автомобили — это самые простые из роботов, и для более сложных машин роль симуляции будет еще выше .
Юньчжу Ли добавляет, что симуляция дает два ключевых преимущества: надежность (проверка робота в экстремальных условиях, при разном освещении и трении) и эффективность (обучение на скоростях, превышающих возможности человека) .
🏭 От фабрик к домам: Стратегия внедрения 29:17
Участники дискуссии обсудили, почему мы до сих пор не видим роботов повсеместно. Юньчжу Ли объясняет это градацией сложности сред:
- Полностью структурированные: Фабрики, где всё контролируется. Это автоматизировано десятилетиями .
- Полуструктурированные: Склады Amazon, отели, рестораны. Здесь есть контроль над частью процессов, но появляются непредсказуемые объекты .
- Неструктурированные: Обычные дома. Это «величайший вызов» из-за хаоса, детей и домашних животных .
Фей-Фей Ли выразила скепсис относительно быстрой реализации человекоподобных роботов-универсалов. По её мнению, эволюция оптимизировала человеческое тело для выживания в неструктурированной среде, но для конкретных бизнес-задач специализированные формы роботов часто эффективнее . World Labs стремится быть «агностиком к воплощению» (embodiment agnostic) — их платформа должна подходить для любого типа роботов, будь то манипулятор на заводе или мобильная платформа на складе .
📅 Планы на будущее и успех через два года 36:56
Фей-Фей Ли подчеркивает, что они не будут спешить с полным слиянием кодовых баз и команд, чтобы сохранить фокус SceniX на текущих клиентах . Тем не менее, компания становится би-костальной: штаб-квартира остается в Сан-Франциско, но открывается офис в Нью-Йорке .
Критерием успеха через два года Фей-Фей Ли называет наличие «маяковых клиентов» (lighthouse examples) в нескольких важных вертикальных отраслях, где инфраструктура World Labs докажет свою эффективность для автоматизации .
Юньчжу Ли добавил, что их платформа гибкая: клиенты могут использовать только часть Real-to-Sim для оценки своих систем или весь цикл для обучения моделей «с нуля» . Стартап открыт для сотрудничества с любыми компаниями, занимающимися робототехникой, независимо от стадии их развития .
