Технологический стартап Dynamics Lab представил Mirage — первый в мире игровой движок на базе нейросетей, способный генерировать интерактивный игровой процесс в реальном времени. В создании проекта участвовали бывшие инженеры и исследователи из Google, NVIDIA, Microsoft и других ИТ-гигантов, поставившие перед собой цель заменить традиционное программирование уровней «галлюцинациями» ИИ.
🕹️ Mirage: Игровой движок, который «видит сны» 0:00
По словам автора канала Уэса Рота, Mirage представляет собой концептуально новый подход к созданию видеоигр . В отличие от классических движков, где каждый объект и сценарий прописаны кодом, Mirage — это нейронная сеть, которая буквально «видит реальность во сне» и транслирует её игроку в зависимости от его действий .
Разработчики из Dynamics Lab утверждают, что:
- Будущее гейминга не будет создаваться экспертами-дизайнерами уровень за уровнем .
- Миры будут воображаться, генерироваться и проигрываться любым пользователем в реальном времени .
- Движок поддерживает динамическое взаимодействие через естественный язык, клавиатуру или контроллер .
Уэс Рот отмечает, что над проектом работает команда мирового уровня с опытом работы в компаниях Amazon, Apple, NVIDIA, а также в университетах Карнеги — Меллона и Калифорнии в Сан-Диего .
🛠️ Технологические особенности и конкурентные преимущества 1:20
Mirage позиционируется как первая система, поддерживающая устойчивый игровой процесс в созданных нейросетью мирах . В отличие от предыдущих экспериментов крупных компаний, Mirage предлагает ряд инноваций:
- Пользовательский контент (UGC): Игрок может в любой момент ввести текстовую команду, и мир изменится . Например, команда «пошёл дождь» мгновенно меняет погодные условия в симуляции .
- Фотореализм: Качество картинки значительно превосходит «пиксельные» или «блочные» стили более ранних ИИ-моделей .
- Длительность сессии: Система способна поддерживать стабильную интерактивность более 10 минут, что является рекордом для подобных технологий .
Рот сравнивает Mirage с уже известными проектами, такими как:
- Genie и AI Doom от Google DeepMind .
- AI Minecraft от Decart .
- AI Quake 2 от Microsoft .
🧠 Как обучали Mirage: данные и архитектура 4:35
По данным разработчиков, модель Mirage прошла двухэтапное обучение. Сначала нейросеть тренировали на огромном массиве видеоданных игрового процесса из интернета . Затем последовал этап тонкой настройки (fine-tuning) на данных, полученных от реальных игроков: их действия (нажатия клавиш) синхронизировались с визуальными изменениями на экране .
По мнению Уэса Рота, такая технология открывает путь к облачному геймингу нового типа:
- Игры можно запускать на любом устройстве без видеокарты, так как весь процесс стримится из облака .
- Не требуется предварительная загрузка дистрибутивов — игра генерируется «на лету» .
- Архитектура объединяет принципы больших языковых моделей (LLM) и диффузионных моделей, используемых для генерации изображений и видео .
🚗 Тест-драйв: Криминальный город и гонки на побережье 5:41
Для демонстрации возможностей Mirage разработчики представили две демо-сцены: «Urban Chaos» (в стиле GTA) и «Coastal Drift» (в стиле Forza Horizon) .
Во время тестирования Urban Chaos Уэс Рот отметил следующие детали:
- Управление: Персонаж реагирует на стандартные клавиши WASD, может прыгать, бегать и атаковать .
- Задержка: Присутствует ощутимый лаг (задержка ввода), который автор называет «не слишком плохим», но заметным .
- Взаимодействие: В игре можно стрелять и драться, хотя визуальные эффекты диффузионной модели пока не идеальны и выглядят менее четко, чем в традиционных играх .
Особый интерес вызвала проверка текстовых промптов. Рот попытался вызвать желтое такси — оно появилось в кадре . После ввода команды «идёт снег» через несколько секунд на земле и в воздухе начали появляться снежинки .
🗺️ Генерация миров по изображениям и ошибки ИИ 9:34
В гоночном режиме «Coastal Drift» Уэс Рот протестировал функцию генерации окружения на основе загруженных изображений . Система попыталась воссоздать ландшафт (горы, дороги), опираясь на предоставленное фото, и автор признал результат «неплохим» .
Однако на текущем этапе технология всё ещё сталкивается с серьёзными трудностями:
- Галлюцинации и логика: Когда Рот попросил систему создать «плотный город», ИИ сгенерировал бесконечное поле кукурузы .
- Пространственная осведомленность: Нейросеть часто «забывает» местоположение игрока. Если развернуться на 180 градусов, окружение может полностью измениться .
- Производительность: В сложных сценах с архитектурой задержка ввода увеличивается до 1-2 секунд .
🔮 Будущее ИИ-гейминга 13:23
Несмотря на текущие ограничения, Уэс Рот призывает «освободить разум» и не судить технологию по её нынешнему состоянию . Он проводит параллель с тем, как быстро эволюционировали ИИ-генераторы видео и музыки, которые ещё год назад выглядели примитивно .
Основные прогнозы Рота и ожидания от Mirage:
- В ближайшее время ожидается публикация научной статьи (white paper) с техническими подробностями .
- Демис Хассабис из Google ранее намекал на движение компании в сторону нейросетевых игровых движков .
- Проблема отсутствия пространственной памяти будет решена в следующих итерациях модели .
Уэс Рот заключает, что индустрия находится на пороге момента, когда игры перестанут быть статичными продуктами и превратятся в живые, постоянно меняющиеся симуляции .
