Дайджест ML News: роботы-шагоходы, автономные экскаваторы и первый год EleutherAI 0:00
В свежем выпуске авторского проекта ML News Янник Килхер (Yannic Kilcher) представил обзор ключевых событий в мире машинного обучения. В центре внимания — достижения Facebook AI в области адаптивных роботов, инновации Baidu в строительной технике, а также подведение итогов первого года работы организации EleutherAI.
🤖 Facebook AI и адаптивные роботы 0:18
Исследователи Facebook AI совместно с коллегами из UC Berkeley и Carnegie Mellon представили роботов, способных быстро адаптироваться к изменяющимся условиям реального мира, обучаясь исключительно в симуляции.
- Технология обучения: В отличие от традиционных подходов, полагающихся на заранее заданные сценарии действий, роботы обучаются «сквозным» (end-to-end) методом. Нейросеть преобразует входные данные от сенсоров напрямую в значения усилий на актуаторах.
- Стратегия адаптации: Реализован двухуровневый подход:
- Базовая модель обучения с подкреплением (reinforcement learning) для перемещения в различных симулированных средах.
- Дополнительная политика адаптации, которая постоянно сравнивает ожидаемые показания сенсоров с реальными. Если возникают расхождения, робот понимает, что среда изменилась, и оперативно подстраивается.
Благодаря этому роботы уверенно преодолевают препятствия, такие как переход с тропы на траву или блокировка ноги камнем, демонстрируя высокий уровень автономности.
🏗️ Автономные экскаваторы от Baidu 3:07
Компания Baidu Research представила автономную систему для экскаваторов, предназначенную для выполнения погрузочных работ. Проект, результаты которого опубликованы в Science Robotics, призван решить проблему нехватки операторов и снизить риски при работе в опасных или токсичных условиях.
Забавным фактом, отмеченным Янником Килхером, стало то, что презентационный ролик Baidu был озвучен с помощью синтезированного ИИ-голоса, что ведущий назвал самоироничным «мета-поступком» исследователей.
🚀 EleutherAI: год в открытом доступе 4:43
Организация EleutherAI отметила свой первый день рождения. В блоге, написанном сооснователем Коннором Ли (Connor Lee), подведены итоги деятельности группы, которая начиналась с амбициозной цели — воспроизвести архитектуру GPT-3 в открытом доступе.
- Достижения: Помимо репликации GPT-3, организация выпустила датасет The Pile, модели GPT-Neo, GPT-NeoX и GPT-J, а также активно развивает направления ML-искусства и биологических исследований.
- Творческое наследие: Янник Килхер отметил, что именно в сообществе EleutherAI зародился популярный трюк с визуализациями Unreal Engine для генеративных моделей, о котором он рассказывал ранее.
🏎️ Илон Маск и «неожиданная сложность» автопилота 6:10
Ведущий прокомментировал статью The Verge, посвященную твиту Илона Маска о сложности создания систем беспилотного вождения.
По мнению Янника Килхера, сейчас в СМИ сложилась мода на критику Маска. Он отметил, что, хотя Маск часто склонен к завышенным обещаниям по срокам, его реальные инженерные достижения, включая системы Tesla, выглядят впечатляюще. Ведущий также обратил внимание на странный выбор ключевых слов в URL статьи: несмотря на отсутствие упоминания аварий в заголовке, они стали центральной темой текста.
🔍 Тестирование ИИ-инструментов для собеседований 8:14
MIT Technology Review протестировал системы ИИ, оценивающие кандидатов на знание английского языка. Эксперимент показал уязвимость таких систем: когда кандидат прочитала немецкий текст вместо английского, ИИ всё равно выставил ей оценку 6/9 за владение языком.
- Выводы: По словам ведущего, это не является критикой самой модели, так как она не обучалась распознавать факт отсутствия английской речи. Однако это указывает на острую необходимость внедрения «проверок на вменяемость» (sanity checks) и учета граничных случаев (edge cases) при внедрении ИИ в процессы, связанные с принятием решений.
📊 Проблемы академического рецензирования 13:12
Обсуждая статью Франческо Рабоны «Миф об экспертном рецензенте», Янник Килхер согласился с тезисом о кризисе системы научного рецензирования в ML.
Основная проблема, по мнению автора статьи: узкая специализация экспертов мешает им объективно оценивать работы на стыке дисциплин. Ведущий подтвердил, что часто получение осмысленного решения по статье требует невероятных усилий и борьбы, отнимающих силы у исследователей. Он выразил надежду, что сообщество будет отходить от порочной практики «экспертного диктата».
🖥️ Мощнейший британский суперкомпьютер Cambridge1 15:49
Nvidia инвестировала около $100 млн в создание суперкомпьютера Cambridge1, который стал мощнейшей исследовательской машиной в Великобритании для задач AI и здравоохранения. Система состоит из 80 узлов DGX A100.
🎨 Творчество и физика: от ИИ-арта до кипения воды 17:06
- Alien Dreams: Янник Килхер рассказал об «эмерджентной сцене» художников, использующих модель OpenAI CLIP для генерации сюрреалистичных изображений и видео, часто в комбинации с техникой 3D-инпэнтинга.
- Физика кипения: MIT News опубликовало материал о применении ИИ для исследования процессов кипения жидкости. Янник иронично заметил, что, хотя для инженерных задач (охлаждение систем) понимание кризиса кипения критично важно, подача материала может показаться комичной, если воспринимать её как исследование «варки макарон».
