# ИИ против математиков и токсичности: обзор DeepMind, OpenAI и Meta

Источник: https://www.youtube.com/watch?v=McpjrsHrEY4
Канал: Yannic Kilcher
Опубликовано: 10.02.2022

---

В новом выпуске ML News исследователь машинного обучения Янник Килчер (Yannic Kilcher) разбирает последние прорывы в индустрии ИИ: от системы AlphaCode, соревнующейся с программистами-людьми, до методов OpenAI по решению олимпиадных задач по математике. В центре внимания также оказываются инструменты для разработчиков, изменения в научной среде и этические вопросы использования генетических данных для распознавания лиц.

## 🚀 AlphaCode: ИИ выходит на уровень соревновательного программирования
[[JUMP:03:19]]

DeepMind представила AlphaCode — систему, способную решать сложные задачи по программированию, сформулированные на естественном языке [03:19]. В отличие от простых упражнений, эти задачи требуют не только знания синтаксиса, но и понимания алгоритмов, логики и обработки условий.

Процесс работы AlphaCode выглядит следующим образом:

1.  **Понимание текста:** Модель получает описание задачи (например, манипуляции со строками с использованием клавиши backspace) [03:45].
2.  **Генерация кода:** ИИ самостоятельно пишет программу на Python, которая считывает данные и выводит ответ [04:50].
3.  **Автономность:** Весь цикл проходит без участия человека [05:03].

По данным DeepMind, AlphaCode достигла уровня 50-го процентиля среди участников соревнований на платформе Codeforces, что соответствует уровню среднего программиста-человека [05:41].

### Технический стек и методология
Модель основана на архитектуре Transformer и предварительно обучена на данных GitHub, после чего дообучалась (fine-tuning) на датасетах с описаниями задач и их решениями [06:08]. Ключевой особенностью системы является этап инференса:

*   **Массовое сэмплирование:** Модель генерирует огромное количество вариантов программ (миллионы) [06:33].
*   **Фильтрация:** Более 99% сгенерированных решений отсеиваются с использованием примеров входных и выходных данных, данных в условии задачи [06:45].
*   **Кластеризация:** Оставшиеся решения группируются по схожести алгоритмов, чтобы выбрать 10 наиболее вероятных вариантов для финальной отправки [07:25].

### Скептицизм экспертов
Несмотря на успех, профессиональные программисты, такие как Дмитрий Ваданао, настроены скептично [10:02]. По его мнению, человеческий уровень всё еще «в световых годах» от ИИ. Основной аргумент Ваданао заключается в фундаментальном различии подходов: человек не генерирует тысячи ошибочных гипотез, а AlphaCode полагается на перебор и фильтрацию [10:43]. Янник Килчер, в свою очередь, задается вопросом, возможно ли в будущем использование синтетических данных для обучения по принципу self-play, как это было в AlphaGo [09:36].

## 🧠 OpenAI и решение олимпиадных математических задач
[[JUMP:11:34]]

OpenAI опубликовала результаты работы над языковыми моделями, обученными решать формальные математические задачи [11:34]. В отличие от AlphaCode, здесь используется формальный язык описания, что позволяет автоматически проверять доказательства.

Особенности подхода OpenAI:

*   **Бесконечное пространство действий:** В математике можно изобретать новые сущности, что делает поиск решения сложнее, чем в шахматах [12:14].
*   **Автоматизация учебного плана:** Модель начинает с простых задач и, находя решения, добавляет их в свой обучающий набор, постепенно переходя к более сложным уровням [13:07].
*   **Успехи:** Система смогла решить ряд задач Международной математической олимпиады (IMO), значительно опередив традиционные методы поиска доказательств [13:46].

## 🛠 Новинки open-source и инструменты для ML
[[JUMP:14:00]]

Янник Килчер представил подборку важных релизов для сообщества:

*   **GPT-NeoX-20B:** Организация EleutherAI выпустила в открытый доступ модель с 20 миллиардами параметров [14:00].
*   **StyleGAN XL:** Новая работа по масштабированию StyleGAN на датасет ImageNet. Модель теперь поддерживает разрешение до 1024x1024 и сохраняет свойства эквивариантности к сдвигу [14:36].
*   **ar5iv.org:** Веб-сервис, конвертирующий PDF-статьи с сайта arXiv в формат HTML5, что делает чтение формул и переход по ссылкам значительно удобнее [16:23].
*   **DietGPU:** Алгоритм сжатия данных без потерь для GPU от Nvidia, ускоряющий распределенное обучение в сетях с низкой пропускной способностью [18:53].
*   **FFCV:** Библиотека для ускорения обучения нейросетей за счет оптимизации загрузки данных [18:12].

## ⚖️ Модерация контента и изменения в научном процессе
[[JUMP:19:31]]

Конференция ICML 2022 вводит двухфазную систему рецензирования [19:31]. Если в первой фазе статья получает две отрицательные рекомендации, она отклоняется автоматически. По мнению Янника Килчера, это повышает значимость «первого впечатления» от научной работы [21:04].

Meta (бывшая Facebook) представила систему **Few-Shot Learner** для борьбы с вредоносным контентом [21:17]. Система примечательна тем, что:

1.  Она учитывает не только примеры текстов, но и текстовое описание самих правил (политик) платформы [21:58].
2.  Это позволяет модели быстрее адаптироваться к новым типам нарушений без масштабного переобучения.

Килчер иронично отмечает «кринжовый» маркетинг Meta в демонстрационном видео, где пользователи начинают радостно улыбаться после внедрения ИИ-фильтров, но признает важность задачи [22:50].

## 🧬 Лицо по ДНК: Прорыв или антиутопия?
[[JUMP:23:59]]

Компания Corsight AI заявила о разработке системы, способной воссоздавать черты лица человека на основе его генетического материала (DNA-to-face) [23:59].

Основные тезисы обсуждения:

*   **Критика:** Скептики утверждают, что возраст и внешняя среда влияют на внешность сильнее, чем гены, и ИИ не сможет вычислить точное расстояние между глазами в миллиметрах [24:50].
*   **Позиция Янника:** Килчер считает критику излишней. По его словам, дети похожи на родителей именно из-за генетики, и обучение алгоритмов распознавания лиц на основе специфических генетических признаков (а не миллиметровых пропорций) вполне вероятно [25:43].

Вопрос о том, насколько этично использовать подобные технологии в правоохранительных органах, остается открытым для дискуссии [26:09].

---