# Как стартап Spellbrush автоматизирует дизайн персонажей с помощью GAN и собственного железа

Источник: https://www.youtube.com/watch?v=4a0nj4o2O9k
Канал: Y Combinator
Опубликовано: 07.12.2020

---

На мероприятии YC Gaming Tech Talks сооснователь и CEO стартапа Спеллбраш (Spellbrush) Кори представил технологический стек компании, который позволяет автоматизировать создание игровых персонажей с помощью глубокого обучения. Основной фокус проекта направлен на решение проблемы масштабирования художественного контента в игровой индустрии, где затраты на графику могут составлять большую часть производственного бюджета.

## 🎨 Экономика игрового арта и вызовы масштабирования
[[JUMP:00:02]]

Искусство — это сложный и ресурсозатратный процесс, особенно для небольших команд. По словам Кори, в современных AAA-проектах и крупных студийных пайплайнах бюджет на создание визуальных ативов часто достигает 50–70% от общих затрат на производство [00:42]. Для Спеллбраш, где один из сооснователей является профессиональным художником, ключевым вопросом стал поиск способа масштабирования производства контента без необходимости раздувать штат до размеров гигантской студии [00:29].

Команда Спеллбраш пришла к идее внедрения ИИ в пайплайн подготовки ассетов. Чтобы продемонстрировать возможности технологии, Кори предложил сравнить три иллюстрации персонажей в стиле аниме. В то время как на создание двух работ у профессиональных иллюстраторов ушло от 2 до 15 часов, третья была полностью сгенерирована ИИ менее чем за две секунды [01:47].

Преимущества использования нейросетей в дизайне:

*   **Скорость:** Генерация одного персонажа занимает менее 2 секунд [01:59].
*   **Масштабируемость:** Система способна создавать сотни уникальных персонажей за то же время, которое требуется человеку на один набросок [02:05].
*   **Доступность:** Стартап запустил проект Waifu Labs, где пользователи могут кастомизировать персонажей в интерактивном режиме [02:11].

## 🧠 Технологический стек: GAN и управление «латентным шумом»
[[JUMP:02:40]]

В основе инструментов Спеллбраш лежат генеративно-состязательные сети (GAN). Кори объяснил механику их работы через взаимодействие двух нейросетей [02:55]:

1.  **Генератор:** Учится создавать изображения, стремясь сделать их неотличимыми от реальных работ.
2.  **Дискриминатор:** Учится отличать настоящий арт от подделок, созданных генератором.

Процесс обучения строится на миллионах итераций, в ходе которых обе сети обновляют свои веса с помощью метода обратного распространения ошибки (backpropagation) [03:48]. Для создания разнообразия в систему вводится «шум», называемый латентным пространством [04:15]. 

По мнению CEO Спеллбраш, управление этим шумом дает разработчикам уникальные возможности:

*   Создание одного и того же персонажа с разными выражениями лица [05:01].
*   Мгновенная смена цветовой палитры [05:07].
*   Перенос стиля или полная трансформация манеры иллюстрации для уже готового героя [05:14].

## 📊 Проблема смещения данных и репрезентация
[[JUMP:05:35]]

Для обучения нейросетей Спеллбраш использовал датасет из 10 миллионов изображений, собранных в открытом доступе [05:48]. Основной упор был сделан на эстетику аниме из-за огромного объема доступных данных. Однако команда столкнулась с серьезным дисбалансом в обучающей выборке.

Распределение данных в интернете сильно искажено:

*   **Гендерный дисбаланс:** Женские персонажи встречаются в 6 раз чаще, чем мужские [06:02]. Кори связывает это с тем, что художники (особенно в Японии) предпочитают рисовать девушек ради большего количества лайков и ретвитов [06:53].
*   **Этнический дисбаланс:** Персонажи с темными тонами кожи составляют менее 3% от общего объема иллюстраций [06:15].

Команда Спеллбраш сознательно корректировала эти веса, чтобы ИИ мог генерировать качественных мужских персонажей и героев с разным цветом кожи чаще, чем это встречается в «сырых» данных из сети [06:41]. Кроме того, компания ведет активные исследования в области автоматической анимации (инструменты для Live2D и Spine) и технологий сверхвысокого разрешения (super-resolution) для видео [07:07].

## 🖥️ Сделай сам: почему DIY-суперкомпьютер выгоднее AWS
[[JUMP:07:32]]

Одной из самых практических частей доклада стал разбор затрат на инфраструктуру. Кори утверждает, что использование облачных сервисов для обучения тяжелых моделей экономически неэффективно для стартапа.

Сравнение затрат:

*   **AWS (экземпляр P3.16xlarge):** Стоит около $24 в час (или $10 для spot-инстансов) [08:00]. Обучение одной модели занимает 7–10 дней, что обходится в $3000–$4000 [08:13].
*   **Собственный кластер (DIY):** Спеллбраш собрали стойку 42U прямо в офисе. С учетом всех затрат, эксплуатация обходится всего в $0,60 в час [08:39].

Технические характеристики офисного суперкомпьютера Спеллбраш:

*   Сеть 100 Гбит/с (Top of Rack router).
*   Более 200 вычислительных ядер.
*   20+ графических процессоров (включая 8 карт NVIDIA Titan RTX в одной из нод) [09:06].
*   40 ТБ флэш-памяти для хранения данных.

Программная архитектура включает кастомный язык NetGen для быстрого описания архитектур GAN, который компилируется в низкоуровневые операции TensorFlow [08:53]. Все задачи упаковываются в контейнеры Singularity и распределяются планировщиком Slurm.

## 🚀 Будущее: первая игра, полностью иллюстрированная ИИ
[[JUMP:09:20]]

На момент выступления команда Спеллбраш состояла всего из пяти человек, но они уже работают над созданием «первой в мире игры, иллюстрированной ИИ» [09:20]. Стартап активно нанимает специалистов, включая 2D-аниматоров, моушн-дизайнеров и VFX-художников для работы в реальном времени.

Кори резюмировал, что их цель — не заменить художников, а предоставить им инструменты, которые позволяют выполнять задачи, занимавшие раньше часы, за считанные секунды [05:35].