# Юньчжу Ли на CS231N: от моделей мира к большим моделям поведения

Источник: https://www.youtube.com/watch?v=XSfmOH_xVSU
Канал: Stanford Online
Опубликовано: 02.09.2025

---

В рамках курса Стэнфордского университета Stanford CS231N состоялась лекция ассистента профессора Колумбийского университета Юньчжу Ли (Yunzhu Li), посвящённая передовым методам обучения роботов (Robot Learning). Исследователь подробно разобрал эволюцию подходов к взаимодействию агентов с физическим миром — от классического обучения с подкреплением до современных роботизированных базовых моделей. Основной фокус материала направлен на преодоление разрыва между симуляцией и реальностью, а также на архитектурные решения, позволяющие наделить машины человеческой интуицией и ловкостью.

## 🎯 Формулировка задачи: чем обучение роботов отличается от компьютерного зрения
[[JUMP:5:34]]

В традиционном компьютерном зрении специалисты преимущественно работают с обучением с учителем (supervised learning), где модель учится отображать входные данные $x$ в метки $y$ для задач классификации или детекции. Существует также самообучение (self-supervised learning), выявляющее скрытые структуры данных с помощью вспомогательных функций потерь, например, в автокодировщиках. Однако обучение роботов кардинально отличается от этих парадигм: робот обязан совершать физические действия, меняющие состояние окружающей среды. Каждое действие влечёт за собой эволюцию системы, предоставляя агенту новые наблюдения и награды. По словам Юньчжу Ли, если компьютерное зрение направлено на построение репрезентаций мира, то робототехника решает задачу последовательной оптимизации в условиях строгих физических ограничений.

В последнее время эта область переживает инвестиционный бум. На рынке появилось множество амбициозных стартапов, таких как Physical Intelligence, Figure и проект Tesla Bot, которые демонстрируют впечатляющие видео с роботами, раскладывающими вещи или сортирующими кофейные зёрна. Крупные технологические корпорации также активно развивают собственные робототехнические инициативы.

Математически задача взаимодействия робота с миром формализуется через цели, состояния, действия и награды. Докладчик привёл несколько классических и современных примеров такой формализации:

* **Балансирование шеста (Cart-pole):** целью является удержание шеста вертикально на подвижной тележке; состояния включают угол, угловую скорость и позицию тележки; действием выступает горизонтальная сила, а награда равна 1 на каждом шаге удержания.
* **Локомоция роботов:** цель заключается в движении вперёд; состояния описывают углы и скорости всех суставов; действиями являются крутящие моменты в суставах, а награда начисляется за каждый шаг вперёд при сохранении вертикального положения.
* **Игры Atari:** целью выступает максимизация игрового счёта; состояниями являются сырые пиксели экрана; действиями — команды контроллера (вверх, вниз, влево, вправо), а наградой — изменение счёта.
* **Игра Го (AlphaGo):** цель — победа в партии; состояния фиксируют расположение камней на доске; действия определяют позицию следующего хода, а финальная награда составляет 1 за выигрыш и 0 за проигрыш.
* **Языковые модели и чат-боты:** цель последовательной генерации — предсказание следующего слова или поддержание качественного диалога; состояниями служат текущие слова или история беседы; действиями — генерация текста, а награда привязана к правильности ответа или удовлетворённости пользователя.
* **Складывание одежды:** цель — аккуратно сложить вещь; состояния определяются многоракурсными RGB или RGBD-камерами; действиями выступают перемещения манипулятора и сжатие гриппера, а награда (1 или 0) выставляется на основе оценки человека.

Как подчёркивает лектор, дизайн функции награды содержит массу нюансов. В беспилотном вождении награда может балансировать между максимальной скоростью и комфортом пассажиров, а при складывании одежды — между минимальной площадью вещи и отсутствием складок.

## 👀 Роботизированное зрение: воплощённое, активное и ситуативное восприятие
[[JUMP:12:30]]

Воспринимающая система робота работает в условиях неполных знаний о засорённой и хаотичной реальной среде. Процесс осложняется окклюзиями (заслонениями объектов), шумами датчиков и неизбежными ошибками самих манипуляций. Например, если робот случайно уронит объект, это вызовет непредсказуемое динамическое изменение окружения. Мир вокруг робота наполнен не только жёсткими телами, но и деформируемыми объектами (одежда, верёвки), а также другими агентами — людьми или домашними животными. Из-за этого робототехники не ограничиваются одними камерами, а внедряют мультимодальную интеграцию датчиков: тактильные сенсоры сообщают о стабильности захвата, аудиоинформация даёт дополнительные подсказки, а камеры фиксируют общую геометрию сцены.

Юньчжу Ли выделил три фундаментальных свойства роботизированного зрения, которые отличают его от пассивного компьютерного зрения:

1.  **Воплощённость (Embodied):** робот обладает физическим телом и напрямую испытывает воздействие физического мира; его действия мгновенно влияют на его собственные сенсорные ощущения.
2.  **Активность (Active):** робот сам выбирает, что, как, когда и где воспринимать; если ему нужно узнать, что находится за объектом, он может просто повернуть голову или изменить угол обзора. Традиционное компьютерное зрение, напротив, имеет дело со статичными, пассивно собранными датасетами.
3.  **Ситуативность (Situated):** робот погружён в конкретный контекст «здесь и сейчас», напрямую определяющий его поведение. Ему не нужно знать полное состояние вселенной — например, при застёгивании пуговицы на рубашке системе достаточно отслеживать лишь локальную область вокруг этой пуговицы. Лектор считает, что восприятие должно быть жёстко связано и спроектировано совместно с нисходящими системами принятия решений.

## 🕹️ Обучение с подкреплением: от «Горького урока» до реального мира
[[JUMP:18:22]]

Один из способов заставить робота действовать — классическое бесмодельное обучение с подкреплением (Model-Free RL), основанное на методе проб и ошибок. Агент взаимодействует со средой, собирает массив опыта и корректирует своё поведение в сторону действий, приносящих максимальную награду. Ли выделил четыре ключевые проблемы, усложняющие RL по сравнению с обучением с учителем:

* **Стохастичность среды:** одно и то же действие может приводить к разным исходам из-за неопределённости физических параметров, например, характера сил трения при толкании коробки.
* **Проблема распределения наград во времени (Credit Assignment):** награда в последовательных задачах часто бывает отложенной; в игре Го агент узнаёт, победил он или проиграл, только в самом конце партии, и соотнести этот исход с решением, принятым в середине игры, крайне сложно.
* **Недифференцируемость динамических систем:** в отличие от сквозных нейросетей, физический мир нельзя дифференцировать напрямую, что вынуждает исследователей прибегать к массированному семплированию для нулевых оценок градиента.
* **Нестационарность процессов:** действия агента напрямую формируют распределение будущих состояний среды, тогда как в supervised learning предсказание модели не меняет другие элементы датасета.

Популярным подходом в RL является обучение функции $Q(s, a)$, которая оценивает дисконтированную ожидаемую сумму будущих наград при совершении действия $a$ в состоянии $s$. Если состояние представлено картинкой, функция $Q$ реализуется в виде свёрточной нейросети (CNN), вычисляющей значения для дискретных действий. На сегодняшний день передовыми алгоритмами в этой сфере лектор назвал SAC (Soft Actor Critic) и PPO (Proximal Policy Optimization).

В качестве исторического примера Ли привёл проект Google DeepMind по обучению агента игре Breakout в системе Atari: через 10 минут тренировки алгоритм едва задевал мяч, через 2 часа играл стабильно, а через 4 часа самостоятельно открыл неочевидную для многих людей стратегию — пробивать туннель у левой стены, чтобы мяч эффективно уничтожал кирпичи сверху. Подобные триумфы подтверждают тезис Рича Саттона о «Горьком уроке» (Bitter Lesson): простейшие рецепты, максимально совместимые с масштабированием вычислительных мощностей, в итоге побеждают сложные инженерные правила. Эволюция от AlphaGo (январь 2016 года) к AlphaGo Zero (отказавшейся от инициализации через имитационное обучение и разгромившей Кэ Цзе), а затем к Alpha Zero и MuZero доказала превосходство масштабирования вычислений. В ноябре 2019 года легендарный чемпион Ли Седоль даже объявил о завершении карьеры, признав превосходство ИИ.

В области реальной робототехники прорывом стала статья исследователей из ETH Zurich в Science Robotics (2020 год). Она доказала лектору, что разрыв между симуляцией и реальностью (sim-to-real gap) можно преодолеть без детального моделирования кустов или снега. Достаточно проводить массированную рандомизацию параметров среды (доменную рандомизацию трения, геометрии) в симуляторах вроде NVIDIA Isaac Gym или Isaac Sim. В результате обученная политика устойчиво управляет четвероногими роботами на экстремально скользких поверхностях. Ли констатировал, что в сфере локомоции роботов задачу благодаря RL можно считать практически решённой.

## 🧠 Модели мира и планирование на основе предсказаний
[[JUMP:36:57]]

Если в локомоции RL доминирует, то в задачах манипуляции объектами бесмодельный подход сталкивается с барьерами. Проект OpenAI 2019 года по сборке кубика Рубика одной роборукой обладал крайне низким процентом успеха в реальности и тестировался на ограниченном числе образцов. Бесмодельное RL требует колоссального объёма взаимодействий (AlphaGo Zero освоила 3000 лет человеческого опыта за 40 дней вычислений), несёт риски катастрофических поломок оборудования при обучении «вживую» и обладает слабой интерпретируемостью.

Взамен лектор предлагает обучать модели мира (World Models). Человек обладает интуитивным физическим пониманием и планирует действия, представляя их последствия в уме. Роботу можно привить схожую способность, обучив прямую модель (forward model), которая предсказывает следующее состояние $s_{t+1}$ на основе текущего $s_t$ и действия $a_t$. Планирование становится обратной задачей: зная цель, алгоритм генерирует последовательность действий с помощью градиентного спуска или параллельного семплирования на GPU, выполняет первое действие, получает обратную связь от среды и заново оптимизирует траекторию.

Исторически репрезентации состояний в моделях мира эволюционировали по следующим этапам:

1.  **Динамика пикселей:** прогнозирование изменений на уровне 2D-картинок (подход Deep Visual Foresight), где цель — минимизировать дистанцию между текущим и целевым изображениями.
2.  **Динамика ключевых точек (Keypoints):** отслеживание траекторий фиксированных 3D-точек на объекте, например, при толкании коробки.
3.  **Динамика частиц (Particles):** представление объектов в виде массива точек, что идеально подходит для деформируемых сред.

В качестве примера Юньчжу Ли продемонстрировал свои исследования в Стэнфорде по манипуляции сыпучими материалами: робот успешно сгребал частицы разного размера в заданные зоны, формируя из них буквы от A до Z. Развитием идеи стал робот для приготовления пельменей (2023 год), оснащённый 15 инструментами, напечатанными на 3D-принтере, и 4 RGBD-камерами для реконструкции геометрии теста. Нейросетевая модель динамики частиц с высокой точностью прогнозировала изменение формы теста. По данным лектора, такая выученная модель оказалась намного точнее классических физических симуляторов, работающих на методе материальных точек (MPM — Material Point Method). 

Робот продемонстрировал колоссальную устойчивость к внешним помехам: когда человек демонстративно разрушал раскатанный блинчик, система мгновенно пересчитывала план, возвращалась к начальному этапу и доводила процесс до конца — вырезала форму, выкладывала начинку и закрывала зажим с помощью специального крюка. Принятие решений шло на двух уровнях: обученный на 10 демонстрациях классификатор выбирал нужный инструмент (высокий уровень), а оптимизатор траекторий рассчитывал конкретные движения манипулятора (низкий уровень).

## 👥 Имитационное обучение: от клонирования поведения к диффузионным политикам
[[JUMP:54:46]]

Альтернативой обучению модели мира является имитационное обучение (Imitation Learning), переносящее supervised-парадигму непосредственно на выучивание политик на основе человеческих демонстраций. Базовый алгоритм — клонирование поведения (Behavior Cloning) — напрямую отображает наблюдения в действия. Его фундаментальным недостатком лектор назвал лавинообразное накопление ошибок (cascading error): небольшое отклонение на старте выводит робота за пределы обучающего распределения данных, ошибка нарастает, и траектория необратимо деградирует. Для исправления этого жизненный цикл разработки включает итеративный сбор данных с фиксацией сбоев и записью корректирующих действий человека.

Существуют и более продвинутые ответвления имитационного обучения:

* **Обратное обучение с подкреплением (Inverse RL):** алгоритм пытается восстановить скрытую функцию награды из демонстраций эксперта. Классический пример из Стэнфорда от Питера Аббиля (Pieter Abbeel) и Эндрю Ына (Andrew Ng) позволил автономно управлять вертолётами, выполняющими сложнейшие фигуры высшего пилотажа.
* **Неявные политики на базе энергетических моделей (Energy-Based Models):** вместо жёсткого маппинга сеть оценивает «энергию» пар наблюдение-действие, что сглаживает ландшафт оптимизации и помогает работать с мультимодальными демонстрациями.
* **Диффузионные политики (Diffusion Policy):** текущий технологический стандарт, заимствующий математический аппарат генеративных диффузионных моделей. Метод, разработанный в Колумбийском университете (чья ведущая исследовательница сейчас перешла на факультет электротехники Стэнфорда), обладает феноменальной скоростью развёртывания: сбор данных утром, обучение в обед и готовая работающая в физическом мире политика уже днём. Диффузионные политики позволяют роботам выполнять тончайшие манипуляции: намазывать масло, готовить яичницу, чистить картофель и аккуратно сдвигать книги.

## 🤖 Роботизированные базовые модели: эпоха больших моделей поведения
[[JUMP:1:03:06]]

Главным драйвером текущего ажиотажа выступают роботизированные базовые модели (Robotic Foundation Models), также известные как модели «Зрение-Язык-Действие» (VLA — Vision-Language-Action) или большие модели поведения. По аналогии с текстовыми и визуально-языковыми моделями, они могут не всегда генерировать идеальное единичное действие, но их суммарная траектория движения должна оставаться плавной, непрерывной и семантически разумной, соответствующей текстовым командам человека. Данная область развивается стремительно: после релиза модели RT-1 в декабре 2022 года новые архитектуры (RT-2, RT-X, OpenVLA) выходят примерно раз в полгода, а в последнее время случился взрывной рост линеек вроде Helix, Hi-Robot, Gemini Robotics и Pi-Zero.

В качестве эталона Ли подробно разобрал открытую модель Pi-Zero от Physical Intelligence, вышедшую в октябре 2024 года и доказавшую ему жизнеспособность концепции базовых моделей для сложной декстерной манипуляции (например, складывания коробок и одежды). Архитектура Pi-Zero опирается на следующий пайплайн:

1.  **Сбор топлива (данных):** агрегация гетерогенных датасетов взаимодействия множества различных роботов со средой.
2.  **Предобучение (Pre-training):** за основу берётся готовая визуально-языковая модель (VLM), сохранившая огромный пласт семантических знаний о мире. Производится так называемое «совместное тонкое настраивание» (code fine-tuning), сочетающее задачи предсказания действий робота и визуального ответа на вопросы (VQA).
3.  **Постобучение (Post-training):** критически важный этап адаптации базовой модели под конкретные целевые задачи. Если базовая модель справляется с простыми распределениями из претрейна, то для выполнения совершенно новых (unseen) или комплексных задач требуется собрать специализированный датасет и дообучить сеть.

Отвечая на вопросы студентов, Ли затронул проблему медлительности современных роботов по сравнению с человеком. По его мнению, ключевой виновник — метод сбора демонстрационных данных через телеуправление. Человек, управляющий роборуками удалённо, действует скованно из-за чужого физического воплощения, окклюзий и необходимости постоянно перепроверять точность сближения с объектом, и этот паттерн медлительности напрямую копируется нейросетью. 

Также исследователь выразил скепсис относительно того, что одна гигантская нейросеть сможет безраздельно управлять роботом в хаотичных домашних условиях. Лектор считает, что для эффективного масштабирования VLA-моделей в распределённых средах верхнеуровнево должны применяться графы сцен и символические репрезентации.

## 🛑 Главные вызовы индустрии: кризис оценки и поиск «ImageNet для роботов»
[[JUMP:1:13:41]]

В завершение лекции Юньчжу Ли обозначил фундаментальные барьеры, стоящие перед мировым сообществом робототехников. Первый и самый болезненный — кризис валидации. Сейчас оценку моделей приходится проводить вручную в реальном мире, развёртывая огромные аппаратные фермы (например, координатные сетки манипуляторов ALOHA в Google). Это невероятно дорого и субъективно: результаты тестов кардинально колеблются от малейшего изменения освещения, износа грипперов или флуктуаций трения. Представители Google в приватной беседе признались Ли, что прогресс у них движется лишь потому, что бюджет на оценку «достаточно огромен». Более того, выявилась слабая корреляция между тренировочной потерей (loss) и реальным успехом: низкая поочерёдная ошибка предсказания одного шага в обучении с учителем абсолютно не гарантирует жизнеспособность политики на длинном временном горизонте выполнения задачи.

Частично проблему пытаются решить симуляциями — бенчмарками BEHAVIOR (разрабатываемым в Стэнфорде) или Habitat 3.0 от Meta. Но и здесь индустрия упирается в невозможность точной физической симуляции тканей и деформаций, а также в колоссальную трудоёмкость оцифровки реальных ассетов и процедурной генерации фотореалистичных разнообразных локаций. По мнению Ли, сообществу жизненно необходима платформа уровня «ImageNet для воплощённого ИИ» (Embodied AI) — единый общепризнанный бенчмарк, где любое продвижение в метриках гарантировало бы автоматическое улучшение навыков физических роботов в реальности.

Перспективным вектором Ли видит создание не просто базовых политик управления, а фундаментальных моделей мира (Foundational World Models). Огромные массивы данных взаимодействия роботов содержат бесценные крупицы физических законов вселенной, и утилизировать их исключительно на обучение действий — непозволительное расточительство. Объединение фундаментальных моделей мира и базовых политик должно заложить основу для появления по-настоящему автономных, гибких и ловких машин будущего.