# Брайан Катанзаро: как NVIDIA меняет будущее ИИ и графики

Источник: https://www.youtube.com/watch?v=LKPUamz6bt8
Канал: The TWIML AI Podcast
Опубликовано: 05.08.2021

---

## Будущее ИИ-инфраструктуры и графики: взгляд изнутри NVIDIA
[[JUMP:0:01]]

В современном мире искусственного интеллекта мощь моделей напрямую зависит от эффективности инфраструктуры, на которой они обучаются. Брайан Катанзаро, вице-президент по прикладным исследованиям глубокого обучения в NVIDIA, в интервью подкасту TWIML AI подробно разобрал, как компания подходит к решению задач масштабирования больших языковых моделей (LLM) и внедрению ИИ в графические технологии реального времени.

### 🚀 Проект Megatron: эффективность на «скорости света»
[[JUMP:7:41]]

Проект Megatron, развивающийся в течение последних нескольких лет, направлен на создание максимально эффективного фреймворка для обучения огромных трансформерных моделей. Главная цель команды NVIDIA — продемонстрировать возможности современных кластеров, таких как DGX SuperPOD, и показать, что при правильной настройке программного обеспечения и сетевой инфраструктуры (Mellanox InfiniBand), GPU становятся идеальным инструментом для масштабного обучения.

По словам Брайана Катанзаро, при обучении моделей в стиле GPT-3 на DGX SuperPOD удается поддерживать **52% от теоретической пиковой производительности тензорных ядер**. В контексте высокопроизводительных вычислений (HPC) это считается выдающимся достижением.

Основные элементы обеспечения эффективности:

* **Тензорный параллелизм:** разбиение тензоров модели между GPU внутри одного узла, что позволяет ускорить вычисления без изменения семантики алгоритма.
* **Конвейерный параллелизм:** распределение слоев модели между разными узлами. Для борьбы с «пузырями» в конвейере, которые снижают эффективность, используется микро-батчинг.
* **Оптимизация на всех уровнях:** совместная работа над ядром CUDA, библиотекой коммуникаций NCCL, архитектурой NVLink и аппаратными кэшами.

Брайан Катанзаро подчеркивает: для достижения таких результатов нельзя оптимизировать лишь один компонент — требуется работа «полного стека» (full stack), от алгоритмов до сетевого оборудования. Ускорение обучения на 20% для модели стоимостью в миллионы долларов обеспечивает прямую экономию бюджета в размере сотен тысяч долларов.

### 🎮 Революция в графике: DLSS как нейросетевая реконструкция
[[JUMP:34:03]]

Параллельно с HPC-решениями NVIDIA активно внедряет ИИ в потребительские продукты, самым ярким примером чего стала технология DLSS (Deep Learning Super Sampling). Это метод реконструкции изображения в реальном времени, позволяющий отрисовывать кадры в низком разрешении, а затем достраивать их до высокого качества с помощью нейронной сети.

Как отмечает гость, DLSS — это не просто алгоритм апскейлинга, а глубокая интеграция в графический конвейер:

* **Данные:** технология использует векторы движения, предоставляемые движком игры, чтобы понимать, как объекты перемещаются в 3D-пространстве.
* **Обучение:** модель представляет собой сверточный автокодировщик. Обучение происходит полностью на синтетических данных, созданных в разрешении 16K, что позволяет ИИ изучать нюансы антиалиасинга (сглаживания) и восстановления деталей.
* **Генерализация:** одна и та же модель успешно применяется в более чем 50 играх и профессиональных приложениях, что является результатом колоссальной работы над качеством обучающей выборки.

Брайан Катанзаро признает, что работа с частицами (пыль, искры, дождь) остается сложной задачей, так как иногда нейросеть может ошибочно принять их за артефакты сглаживания и «стереть». Однако развитие методов ИИ позволяет NVIDIA постоянно улучшать качество работы модели, не требуя полной переработки кода для каждой игры.