В эпоху стремительного развития искусственного интеллекта потребность в единых стандартах и объективных измерениях становится критической. Питер Мэттсон, президент организации MLCommons и штатный инженер Google, в беседе с Сэмом Черрингтоном обсуждает путь от разрозненных тестов производительности к созданию полноценной индустриальной экосистемы через проект MLPerf и новую инициативу MLCommons.
🚀 От хаоса к стандартам: история MLPerf 1:30
История MLPerf началась около трех лет назад, когда индустрия столкнулась с проблемой «зоопарка» метрик. По словам Питера Мэттсона, в то время компаниям было крайне сложно сравнивать различные аппаратные ускорители, так как каждый производитель заявлял о превосходстве своего продукта, используя собственные специфические показатели . Чтобы привести всех к «общему знаменателю», Мэттсон объединился с Давидом Паттерсоном (соавтором классического труда «Архитектура компьютера: количественный подход») и представителями академической среды из Стэнфорда и Гарварда .
Основной задачей MLPerf стало создание эталонов (бенчмарков), которые измеряют реальную производительность в двух ключевых областях:
- Обучение (Training): время, необходимое модели для достижения заданного уровня качества «с нуля» .
- Инференс (Inference): пропускная способность при выполнении задач, например, сколько изображений кошек в секунду может распознать уже обученная система .
Мэттсон подчеркивает, что критически важным решением стал отказ от синтетических тестов в пользу реальных приложений. В пакет тестов вошли такие задачи, как ResNet для компьютерного зрения, BERT для обработки естественного языка и системы рекомендаций, которые являются основой современного поиска и интернет-коммерции . По мнению гостя, использование реальных сценариев предотвращает ситуацию, когда инженеры оптимизируют железо под «математические абстракции», которые не имеют ничего общего с практическими задачами .
🏦 MLCommons: создание инфраструктуры для индустрии ИИ 12:12
По мере роста консорциума MLPerf стало очевидно, что неформального объединения недостаточно. Для обеспечения долговечности стандартов была создана организация MLCommons . Мэттсон сравнивает текущее состояние ИИ с эпохой братьев Райт: «Это еще не полеты на трансатлантических джетах, мы только учимся летать, и половину времени самолеты разбиваются по непонятным причинам» .
Деятельность MLCommons строится на трех «столпах»:
- Бенчмаркинг: продолжение развития MLPerf для железа и ПО.
- Общедоступные наборы данных (Datasets): создание «сырья» для моделей.
- Лучшие практики (Best Practices): разработка стандартов обмена моделями и их развертывания .
Особое внимание уделяется открытости — организация использует лицензии Apache 2.0 и приглашает к участию не только технологических гигантов вроде NVIDIA и Intel, но и стартапы, а также академическое сообщество .
🗣️ Проект People’s Speech: данные для всех 18:32
В рамках второго «столпа» MLCommons запустила проект «The People’s Speech». Это один из крупнейших в мире открытых наборов данных для распознавания речи, объем которого составляет более 80 000 часов (эквивалент 10 лет непрерывного аудио) .
Питер Мэттсон отмечает недостатки существующих баз данных: например, популярные наборы записей из европейского парламента сильно ограничены демографически . Цель нового проекта — демократизация технологий ИИ за счет включения 59 различных языков и расширения спектра акцентов и сценариев разговора (от чтения книг до живой речи) . Мэттсон утверждает, что такие наборы данных — это инвестиция с колоссальным возвратом, по аналогии с Imagenet, который, по имеющимся у него данным, стоил около 300 000 долларов, но фактически запустил современную революцию в компьютерном зрении .
📦 MLBox и концепция «транспортных контейнеров» в ИИ 24:45
Третий столп MLCommons призван решить проблему «темного искусства» передачи моделей от исследователя к инженеру. Питер Мэттсон констатирует факт: попытка запустить чужую модель сегодня часто означает потерю целой недели на настройку зависимостей и совместимости оборудования .
Для решения этой проблемы представлен проект MLCube (в транскрипте упоминается как MLBox/MLCube). Основная идея заимствована из истории грузоперевозок:
- Аналогия с контейнером: Неважно, что внутри (вакцины или телефоны) и какая портовая инфраструктура используется — стандартный стальной ящик подходит ко всему .
- Техническое воплощение: MLCube — это абстрактный интерфейс командной строки поверх Docker-контейнера. Он позволяет запускать обучение или инференс одинаковыми командами, независимо от того, какая архитектура или фреймворк находятся внутри .
По мнению Мэттсона, это шаг к «инзаменяемым частям» эпохи индустриальной революции, который позволит компаниям без огромного штата инженеров легко интегрировать ИИ-решения в свой бизнес .
📊 Три золотых правила измерения ИИ 42:12
В завершение беседы Мэттсон, опираясь на свой опыт руководства командой ML Metrics в Google, сформулировал три рекомендации для тех, кто работает с метриками машинного обучения:
- Начинайте с «Истинного Севера»: Сначала определите, что вы хотите измерить теоретически, и только потом ищите лучшее доступное приближение .
- Учитывайте стохастичность: Результаты обучения нейросетей варьируются от запуска к запуску (влияет даже порядок операций с плавающей запятой). Необходимо проводить несколько тестов и анализировать дисперсию, а не доверять единичным «удачным» результатам .
- Нормируйте стоимость: Измерять чистую скорость бессмысленно, так как инференс бесконечно масштабируется добавлением железа. Правильный подход — оценивать производительность на единицу стоимости, мощности (ватт) или на один чип .
Мэттсон утверждает, что если дать инженерам четкую метрику, они неизбежно сделают систему лучше. В качестве примера он приводит бенчмарк ResNet, где за два года только за счет оптимизации программного стека удалось добиться 13-кратного ускорения .
