В современной игровой индустрии создание крупнобюджетных проектов (AAA-игр) превратилось в монументальный процесс, сравнимый по сложности с разработкой беспилотных автомобилей. Директор по исследованиям в Electronic Arts (EA) и адъюнкт-профессор Королевского технологического института в Стокгольме (KTH) Конрад Толлмар в интервью для подкаста TWIML AI обсуждает, как глубокое обучение с подкреплением (Reinforcement Learning) и компьютерное зрение меняют подход к тестированию и наполнению цифровых миров.
🕹️ От академических симуляторов к Half-Life: предыстория 0:00
Путь Конрада Толлмара в геймдев начался с нетривиальных академических исследований. Его докторская диссертация в KTH была посвящена «медиапространствам» и интерактивным средам, где датчики отслеживали присутствие людей . Однако настоящий прорыв произошел во время стажировки в лаборатории ИИ Массачусетского технологического института (MIT AI Lab).
В начале 2000-х, работая с первыми камерофонами Nokia и прототипами 3D-камер (предшественниками Kinect), Толлмар столкнулся с проблемой визуализации своих идей по управлению жестами в 3D-мире . Вместо того чтобы строить сложную физическую среду с нуля, его команда обратилась к игровой индустрии.
- В качестве движка для экспериментов была использована взломанная версия игры Half-Life .
- Толлмар утверждает, что игровые движки до сих пор превосходят специализированные физические симуляторы, когда речь идет об изучении пользовательского опыта (UX) .
- Даже при тестировании систем беспилотного вождения исследователь предпочитает использовать игровые технологии из-за их надежности в создании сложных визуальных сред .
🛠️ Роль ИИ в производстве игр Electronic Arts 6:35
В EA Конрад Толлмар является частью подразделения прикладных исследований под названием SEED. Его команда занимается «горизонтом технологий» — изучением того, что станет стандартом индустрии через несколько лет .
Толлмар выделяет три ключевых направления использования ИИ в EA:
- Создание контента (Asset Creation): Генерация речи, анимаций и сложных игровых объектов .
- Тестирование активов: Автоматическая проверка того, как созданные объекты (например, деревья или здания) ведут себя в игровом мире .
- Аналитика данных: Изучение того, как игроки взаимодействуют с продуктом, что им нравится, а что вызывает трудности .
По словам гостя, современные игры настолько масштабны, что ручная проверка каждого аспекта становится экономически нецелесообразной .
🤖 Обучение с подкреплением и проблема «невероятных» персонажей 10:31
Одной из самых амбициозных задач SEED было использование глубокого обучения с подкреплением (Deep RL) для создания неигровых персонажей (NPC) . Однако команда столкнулась с неожиданным препятствием: ИИ часто действует слишком эффективно, что разрушает погружение.
По мнению Толлмара, существует фундаментальная разница между ИИ в реальном мире и в играх:
- В беспилотном автомобиле ИИ должен вести машину идеально или лучше человека .
- В игре персонаж должен быть «правдоподобным» (believable), а не идеальным .
- Если агент идет строго по прямой, игнорируя траву и препятствия, или не совершает случайных «человеческих» ошибок, игроки мгновенно считывают его как робота .
Особую сложность представляет групповое поведение. Толлмар отмечает, что заставить группу NPC понимать общий контекст и действовать слаженно — задача, которую индустрия только начинает решать .
🔍 ИИ-тестировщики: поиск багов через «любопытство» 15:35
Когда стало ясно, что обучение идеально «верных» NPC — процесс долгий, команда Толлмара переключила фокус на использование тех же RL-агентов для автоматизации тестирования. Здесь «нечеловеческое» поведение ИИ стало преимуществом.
Ключевые аспекты работы:
- Выход за пределы: В то время как человек-тестер обходит стену, видя препятствие, RL-агент может попытаться пройти сквозь неё, тем самым обнаруживая дыры в коллизиях (эксплойты) .
- Curiosity-Driven Learning: Вместо обучения агента максимизации счета (как в классических экспериментах с играми Atari), исследователи используют модель, движимую любопытством . Это позволяет агенту покрывать максимальную площадь карты и заглядывать в углы, которые разработчики могли пропустить .
- Визуализация для дизайнеров: Поскольку агенты сами не умеют говорить об обнаруженных проблемах, команда разработала систему тепловых карт и траекторий, по которым геймдизайнер может понять, где игроки могут застрять .
🔄 Адаптивность и процедурная генерация уровней 27:16
Серьезным барьером для использования ИИ в разработке является статичность моделей. Традиционно при любом изменении карты (например, перемещении бочки на метр влево) RL-агента приходилось переучивать с нуля .
Команда Толлмара черпала вдохновение в алгоритме POET (Paired Open-Ended Trailblazer). Они разработали систему из двух агентов:
- Генератор: Процедурно создает игровые элементы или трассы .
- Решатель (Solver): Пытается пройти созданный уровень .
Этот тандем позволяет автоматически определять сложность уровня. Например, в гоночной игре система может прогнать тысячи агентов через трассу и на основе их успеха присвоить ей «уровень сложности 10» или «уровень сложности 5» . Толлмар считает, что в будущем это позволит играм адаптироваться под уровень мастерства конкретного игрока в реальном времени .
🖼️ CNNS против «текстурного беспредела» 35:17
Помимо RL, EA активно использует сверточные нейронные сети (CNN) для визуального контроля качества. В огромных открытых мирах часто встречаются «глитчи» — пропадающие текстуры, белые пятна из-за ошибок драйверов или просто забытые разработчиками объекты .
Толлмар описывает процесс так:
- RL-агент перемещается по миру и «фотографирует» объекты с разных ракурсов .
- CNN классифицирует изображения как «нормальные» или «содержащие глитч» с определенным уровнем уверенности .
- Для обучения используются как реальные отчеты об ошибках от миллионов игроков, так и синтетически созданные глитчи (например, намеренно удаленные текстуры), чтобы расширить обучающую выборку .
Главное:
- Использование ИИ-агентов, движимых любопытством, помогает находить баги и «дыры» в играх быстрее людей.
- Тандем из ИИ-генератора и ИИ-игрока позволяет автоматически оценивать сложность уровней.
- Для EA правдоподобность поведения персонажа важнее, чем его эффективность.
