# Оптимизация траекторий и Space-LLaVa: Стэнфорд представил новые ИИ-инструменты для космоса Источник: https://www.youtube.com/watch?v=x30DJwgwwb8 Канал: Stanford Online Опубликовано: 06.02.2025 --- На семинаре в Стэнфордском университете Даниэле Гаммелли, постдок лаборатории Марко Говони, представил концепцию использования больших базовых моделей (Foundation Models) для обеспечения автономности космических миссий. По мнению спикера, мы вступаем в «золотой век» ИИ, где прорывы в области нейросетевых архитектур позволяют решить критические проблемы управления аппаратами в глубоком космосе. Исследование фокусируется на двух направлениях: адаптации архитектур трансформеров для планирования траекторий и использовании мультимодальных моделей, таких как Space-LLaVa, для интеллектуального анализа данных и принятия решений на борту. ## 🚀 Новая эра космической автономии [[JUMP:0:09]] Современный стек технологий автономности переживает трансформацию благодаря трем ключевым факторам: эффективным методам 3D-реконструкции, высокопараллельному симулированию и появлению базовых моделей (LLM, VLM). Под базовыми моделями в лаборатории Марко Говони понимают нейросети, обученные на гигантских массивах данных в режиме самообучения (self-supervised), которые могут быть адаптированы для широкого спектра прикладных задач. Основные характеристики базовых моделей: * **Масштабируемость:** использование архитектур типа Transformer или диффузионных моделей. * **Универсальность:** способность выполнять задачи, для которых они не обучались напрямую (zero-shot возможности). * **Мультимодальность:** одновременная работа с текстом, изображениями и данными с датчиков. ## 🛰️ Траекторная оптимизация: метод «теплого старта» [[JUMP:2:43]] Одной из сложнейших задач в космосе является автономное сближение и стыковка (rendezvous), требующие ювелирной оптимизации траектории. Гаммелли выделяет два конфликтующих требования: ограниченные вычислительные мощности космического оборудования (на порядки слабее земных процессоров) и жесткие требования к безопасности. Существующие методы имеют свои недостатки: 1. **Аналитические методы:** очень быстрые, но не универсальные, требуют глубокого понимания физики конкретной задачи. 2. **Численная оптимизация:** универсальна, но крайне ресурсоемка, что затрудняет её использование на борту в реальном времени. 3. **Обучение нейросетей (Learning-based):** эффективно и выразительно, но не дает строгих гарантий безопасности. **Инструмент: Autonomous Rendezvous Transformer (ART)** Для решения этой дилеммы команда предложила парадигму **«теплого старта» (warm starting)**. Суть метода заключается в следующем: 1. **Этап обучения:** Модель ART обучается на огромной базе предварительно рассчитанных траекторий, рассматривая состояния и команды управления как последовательность токенов (аналогично словам в LLM). 2. **Этап генерации:** Для новой задачи трансформер мгновенно выдает «черновой», но близкий к оптимальному вариант траектории. 3. **Этап уточнения:** Этот черновик подается в классический численный оптимизатор, который быстро доводит решение до идеала, гарантируя соблюдение всех физических ограничений и требований безопасности. В ходе тестов на платформе «Free Flyer» (робот на гранитной подушке, имитирующий микрогравитацию) метод ART показал сокращение времени вычислений и более экономное использование топлива (firing time) по сравнению со стандартными методами. ## 🌠 Space-LLaVa: ИИ с «космическим здравым смыслом» [[JUMP:11:49]] Второе направление работы — использование предобученных визуально-языковых моделей (VLM). Главная ценность таких моделей, по словам Гаммелли, заключается в наличии у них «здравого смысла» и семантического понимания контекста. Это критически важно для решения трех проблем: * **Масштабирование операций:** Сейчас управление марсоходами требует огромных команд инженеров (эксплуатация Perseverance стоила около $300 млн), что не позволяет массово запускать миссии. * **Работа в неизвестности:** Космос — это среда «zero-shot», где роботу часто приходится сталкиваться с условиями, которые невозможно было полностью смоделировать заранее. * **Мультимодальность:** Космические роботы оснащены множеством датчиков, и одна модель должна уметь обрабатывать их все комплексно. ### Создание специализированного набора данных Поскольку большинство ИИ-моделей обучаются на «земных» данных, их знания о космосе ограничены. Команда Стэнфордского университета разработала автоматизированный конвейер для создания датасета **Space-LLaVa**: 1. **Аннотирование снимков:** Использовались данные проекта «AI for Mars» (сегментированные маски ландшафтов). С помощью GPT-4 маски превращались в текстовые описания (песок, скалы, коренная порода). 2. **Сбор научных знаний:** Из архива были взяты 1000 последних публикаций по астрофизике. На их основе GPT-4 сгенерировала 25 000 пар «вопрос-ответ» для обучения модели специфическим знаниям. В результате дообученная модель **Space-LLaVa** превзошла базовую LLaVa в задачах распознавания типов грунта и сравнения ландшафтов, при этом сохранив общие интеллектуальные способности. ## 🌑 Кейс-стади: Луноход под присмотром ИИ [[JUMP:24:50]] Спикер продемонстрировал работу VLM как высокоуровневого планировщика и монитора для лунохода в симуляции. В сценарии ровер должен добраться до посадочного модуля по точкам, заданным наземной командой. Процесс принятия решения моделью: * **Входные данные:** Модель получает снимки с бортовых камер ровера и вид сверху. * **Обнаружение рисков:** ИИ замечает, что предложенный инженерами путь проходит через плохо освещенную зону с неровным рельефом (реголитом). * **Корректировка:** Модель обосновывает опасность и предлагает альтернативный «зеленый» маршрут, избегающий опасных зон. Этот пример иллюстрирует переход к гибким интерфейсам управления, где взаимодействие человека и робота происходит на естественном языке, а ИИ выступает в роли интеллектуального фильтра безопасности. ## ❓ Трудности и перспективы (Q&A) [[JUMP:30:16]] В ходе сессии вопросов и ответов обсуждались критические аспекты внедрения таких систем. **Проблема разрыва между симуляцией и реальностью (Sim-to-Real)** По словам Гаммелли, точных ответов пока нет, но стратегия заключается в искусственном зашумлении динамики при обучении. Это не дает модели «переобучиться» под идеальные условия симулятора и делает её более адаптивной к реальным отклонениям в космосе. **Гарантии безопасности и галлюцинации** Спикер признал, что маленькие модели (7–13 млрд параметров) часто ведут себя нестабильно и могут не следовать инструкциям. Поэтому в критических задачах, таких как расчет траектории, нейросеть используется только для генерации начального приближения, а финальное слово остается за жестким математическим алгоритмом. **Будущее человеко-машинных интерфейсов** Перспективным направлением считается использование LLM для генерации программного кода (например, для ROS — Robot Operating System). Оператор сможет задать цель голосом или текстом, а модель мгновенно создаст и запустит нужный программный блок для выполнения команды роботом.