В новом выпуске ML News исследователь машинного обучения Янник Килчер (Yannic Kilcher) разбирает последние прорывы в индустрии ИИ: от системы AlphaCode, соревнующейся с программистами-людьми, до методов OpenAI по решению олимпиадных задач по математике. В центре внимания также оказываются инструменты для разработчиков, изменения в научной среде и этические вопросы использования генетических данных для распознавания лиц.
🚀 AlphaCode: ИИ выходит на уровень соревновательного программирования 3:19
DeepMind представила AlphaCode — систему, способную решать сложные задачи по программированию, сформулированные на естественном языке . В отличие от простых упражнений, эти задачи требуют не только знания синтаксиса, но и понимания алгоритмов, логики и обработки условий.
Процесс работы AlphaCode выглядит следующим образом:
- Понимание текста: Модель получает описание задачи (например, манипуляции со строками с использованием клавиши backspace) .
- Генерация кода: ИИ самостоятельно пишет программу на Python, которая считывает данные и выводит ответ .
- Автономность: Весь цикл проходит без участия человека .
По данным DeepMind, AlphaCode достигла уровня 50-го процентиля среди участников соревнований на платформе Codeforces, что соответствует уровню среднего программиста-человека .
Технический стек и методология
Модель основана на архитектуре Transformer и предварительно обучена на данных GitHub, после чего дообучалась (fine-tuning) на датасетах с описаниями задач и их решениями . Ключевой особенностью системы является этап инференса:
- Массовое сэмплирование: Модель генерирует огромное количество вариантов программ (миллионы) .
- Фильтрация: Более 99% сгенерированных решений отсеиваются с использованием примеров входных и выходных данных, данных в условии задачи .
- Кластеризация: Оставшиеся решения группируются по схожести алгоритмов, чтобы выбрать 10 наиболее вероятных вариантов для финальной отправки .
Скептицизм экспертов
Несмотря на успех, профессиональные программисты, такие как Дмитрий Ваданао, настроены скептично . По его мнению, человеческий уровень всё еще «в световых годах» от ИИ. Основной аргумент Ваданао заключается в фундаментальном различии подходов: человек не генерирует тысячи ошибочных гипотез, а AlphaCode полагается на перебор и фильтрацию . Янник Килчер, в свою очередь, задается вопросом, возможно ли в будущем использование синтетических данных для обучения по принципу self-play, как это было в AlphaGo .
🧠 OpenAI и решение олимпиадных математических задач 11:34
OpenAI опубликовала результаты работы над языковыми моделями, обученными решать формальные математические задачи . В отличие от AlphaCode, здесь используется формальный язык описания, что позволяет автоматически проверять доказательства.
Особенности подхода OpenAI:
- Бесконечное пространство действий: В математике можно изобретать новые сущности, что делает поиск решения сложнее, чем в шахматах .
- Автоматизация учебного плана: Модель начинает с простых задач и, находя решения, добавляет их в свой обучающий набор, постепенно переходя к более сложным уровням .
- Успехи: Система смогла решить ряд задач Международной математической олимпиады (IMO), значительно опередив традиционные методы поиска доказательств .
🛠 Новинки open-source и инструменты для ML 14:00
Янник Килчер представил подборку важных релизов для сообщества:
- GPT-NeoX-20B: Организация EleutherAI выпустила в открытый доступ модель с 20 миллиардами параметров .
- StyleGAN XL: Новая работа по масштабированию StyleGAN на датасет ImageNet. Модель теперь поддерживает разрешение до 1024x1024 и сохраняет свойства эквивариантности к сдвигу .
- ar5iv.org: Веб-сервис, конвертирующий PDF-статьи с сайта arXiv в формат HTML5, что делает чтение формул и переход по ссылкам значительно удобнее .
- DietGPU: Алгоритм сжатия данных без потерь для GPU от Nvidia, ускоряющий распределенное обучение в сетях с низкой пропускной способностью .
- FFCV: Библиотека для ускорения обучения нейросетей за счет оптимизации загрузки данных .
⚖️ Модерация контента и изменения в научном процессе 19:31
Конференция ICML 2022 вводит двухфазную систему рецензирования . Если в первой фазе статья получает две отрицательные рекомендации, она отклоняется автоматически. По мнению Янника Килчера, это повышает значимость «первого впечатления» от научной работы .
Meta (бывшая Facebook) представила систему Few-Shot Learner для борьбы с вредоносным контентом . Система примечательна тем, что:
- Она учитывает не только примеры текстов, но и текстовое описание самих правил (политик) платформы .
- Это позволяет модели быстрее адаптироваться к новым типам нарушений без масштабного переобучения.
Килчер иронично отмечает «кринжовый» маркетинг Meta в демонстрационном видео, где пользователи начинают радостно улыбаться после внедрения ИИ-фильтров, но признает важность задачи .
🧬 Лицо по ДНК: Прорыв или антиутопия? 23:59
Компания Corsight AI заявила о разработке системы, способной воссоздавать черты лица человека на основе его генетического материала (DNA-to-face) .
Основные тезисы обсуждения:
- Критика: Скептики утверждают, что возраст и внешняя среда влияют на внешность сильнее, чем гены, и ИИ не сможет вычислить точное расстояние между глазами в миллиметрах .
- Позиция Янника: Килчер считает критику излишней. По его словам, дети похожи на родителей именно из-за генетики, и обучение алгоритмов распознавания лиц на основе специфических генетических признаков (а не миллиметровых пропорций) вполне вероятно .
Вопрос о том, насколько этично использовать подобные технологии в правоохранительных органах, остается открытым для дискуссии .
