Братья Бенджио: история пионеров глубокого обучения, хрупкость нейросетей и будущее ИИ

Eye on AI 2,9 тыс. 30 мин 10 мин 05.04.2019
Главное

Братья Йошуа и Сами Бенджио — уникальное явление в мире современных технологий: два родных брата стали одними из самых влиятельных ученых в сфере глубокого обучения. В этом редком совместном интервью они делятся историей своего детства, рассказывают о переходе от подростковых экспериментов с первыми компьютерами к созданию фундамента современной индустрии искусственного интеллекта, а также спорят о роли коммерческих гигантов и государственной поддержке науки. Особое внимание исследователи уделяют техническим ограничениям современных нейросетей, их хрупкости и необходимости жесткого этического регулирования со стороны государства.

🌍 От парижских хиппи до пионеров глубокого обучения: корни братьев Бенджио 0:00

Корни выдающихся научных достижений братьев Бенджио уходят в атмосферу бунтарства и гуманизма . Их родители были настоящими французскими хиппи, активно участвовавшими в студенческих протестах легендарного мая 1968 года в Париже . По воспоминаниям братьев, именно родители привили им глубокий интерес к науке и те гуманистические ценности, которые сегодня определяют их отношение к этике искусственного интеллекта.

Семья вела кочевой и творческий образ жизни, из-за чего братьям пришлось сменить немало стран. Отец семейства по образованию был фармацевтом, но также изучал философию, а в итоге посвятил себя искусству и театру . Мать изучала экономику, работала на самых разных работах и впоследствии также ушла в сферу искусства, занимаясь менеджментом художников и актеров. Финансовое положение семьи долгое время оставалось скромным.

Важной частью их семейной истории является Марокко, где родились их родители. В начале 1960-х годов значительная часть еврейской общины покинула Марокко . Большинство уехало во Францию, Канаду, США и Израиль. Семья Бенджио ненадолго вернулась в Марокко на один год, чтобы отец мог пройти там военную службу .

Братья открыто признают, что им повезло родиться и вырасти в благополучных западных странах . По мнению Йошуа, этот привилегированный статус накладывает на них ответственность перед людьми из развивающихся стран, лишенными подобных возможностей. В 1977 году семья приняла совместное решение эмигрировать в Канаду . Главным фактором стала мечта о Новом Свете и то, что в Монреале уже жили бабушка и дедушка братьев . С тех пор Йошуа Бенджио живет в Монреале уже более 40 лет .

💻 Первая искра: от Atari 800 до «обучения обучению» 4:37

Интерес к компьютерам проснулся у братьев еще в подростковом возрасте . Не имея больших денег, они скопили средства и вместе приобрели свой первый домашний компьютер — Atari 800 . В те годы не было даже гибких дискет, программы писались на языке Basic и сохранялись на обычных аудиокассетах . Это совместное увлечение определило их дальнейший образовательный путь.

После школы пути братьев на время разошлись по разным канадским университетам:

Однако вскоре их академические интересы снова пересеклись . В 1985 году Йошуа начал обучение в магистратуре и наткнулся на первые статьи по нейронным сетям, включая работы Джеффри Хинтона о коннекционизме . Выход в 1986 году фундаментального двухтомника PDP (Parallel Distributed Processing) окончательно сформировал его страсть к исследованиям ИИ . Йошуа признается, что буквально влюбился в идею понять принципы работы человеческого мозга и воссоздать их в интеллектуальных машинах .

Увлечение Йошуа передалось и его младшему брату . Когда в 1989 году Сами начинал свою докторскую диссертацию (PhD), в его университете никто не занимался нейросетями . Его неофициальным руководителем и главным научным партнером стал Йошуа.

Вместе они опубликовали ряд знаковых работ по теме, которую сегодня называют AutoML (автоматическое машинное обучение) . В конце 1980-х годов эта концепция определялась братьями как «обучение обучению» (learning to learn) . По признанию Сами, в те годы им критически не хватало вычислительной мощности для полноценной реализации своих идей, которые стали по-настоящему востребованными лишь спустя 25 лет.

❄️ Выживание в «зиму ИИ» и академическая свобода в Канаде 7:44

Период, известный как «зима искусственного интеллекта», заставил многих ученых отказаться от исследований нейросетей, но братья Бенджио остались верны своему направлению. На вопрос о том, что помогло ему выстоять, Йошуа с улыбкой отвечает, что он просто крайне упрям .

По словам Йошуа, он твердо верил в собственное видение и считал, что все остальные ошибаются . Огромную роль сыграла психологическая поддержка единомышленников — Джеффри Хинтона и Яна Лекуна, а также канадской исследовательской организации CIFAR, которая помогла формализовать их сообщество . Сами добавляет, что в этой сфере всегда оставалось слишком много нерешенных и интересных вопросов, поэтому у них просто не было причин менять тему работы .

Другим ключевым фактором выживания школы глубокого обучения в Канаде стала государственная политика финансирования науки . Йошуа подчеркивает, что канадское правительство на протяжении десятилетий выделяло гранты на фундаментальные исследования, основанные исключительно на научном любопытстве (curiosity-based funding), без требования немедленного коммерческого применения.

Именно этот подход лег в основу создания Mila — Квебекского института искусственного интеллекта, основанного Йошуа . Философия Mila базируется на трех китах:

  1. Полная свобода научных исследований.
  2. Широкое сотрудничество между учеными.
  3. Коллегиальность.

По мнению Йошуа, только в таких условиях возможен настоящий прорыв, выходящий за рамки инкрементального (пошагового) прогресса .

🤝 Разделение путей: Швейцария и большая индустрия 9:46

После защиты докторской диссертации Сами Бенджио принял сознательное решение выйти из тени старшего брата . Он переехал в Швейцарию, где с 1999 по 2007 год работал в небольшом, но сильном научно-исследовательском институте IDIAP .

По словам Сами, для ученого критически важно сменить обстановку и научиться мыслить независимо, избегая постоянного влияния одного и того же авторитета . Швейцария предоставила ему отличные условия: простое получение грантов и достаточные для того времени вычислительные мощности. При этом братья продолжали тайно сотрудничать, даже деля между собой аспирантов .

В 2007 году Сами сделал важный шаг и присоединился к Google . В то время индустрия еще не осознавала потенциал глубокого обучения. Главным стимулом для Сами стал доступ к колоссальным массивам данных и вычислительным ресурсам, которые позволяли масштабировать модели на реальные задачи . Google пообещал ему свободу исследований при условии, что его работа будет приносить долгосрочную пользу компании .

Этот шаг вскрыл фундаментальное противоречие между академической наукой и корпорациями. Йошуа Бенджио последовательно отказывался переходить в коммерческий сектор . Он высказывает серьезное беспокойство тем, что технологические гиганты «пылесосят» лучшие умы из университетов . Это создает опасный дефицит профессоров, способных обучать и курировать следующее поколение студентов.

Сами Бенджио предлагает более мягкую трактовку . По его мнению, граница между академией и индустрией сегодня размыта. Сами выделяет несколько факторов, сглаживающих конфликт:

Тем не менее, Йошуа настаивает на необходимости сохранения доминирующей роли государственного финансирования науки . Он напоминает, что коммерческий интерес подвержен экономическим циклам и может внезапно угаснуть, в то время как государственная поддержка обеспечивает стабильность развития .

🧠 Будущее ИИ: за пределами контролируемого обучения 15:00

Эпоха бурного коммерческого внедрения нейросетей началась в 2010–2011 годах . Братья вспоминают, что этот прорыв произошел благодаря переходу от сложных методов ненаправленного обучения (unsupervised learning) к прямому обучению с учителем (supervised learning) . Именно это дало мощный толчок развитию систем распознавания речи, компьютерного зрения и машинного перевода .

Однако оба исследователя сходятся во мнении, что обучение с учителем исчерпало свой концептуальный потенциал и не способно привести человечество к созданию полноценного ИИ человеческого уровня . Люди не требуют разметки миллионов картинок для того, чтобы научиться распознавать объекты .

Будущее ИИ лежит в области альтернативных подходов:

  1. Неконтролируемое обучение (unsupervised learning) .
  2. Самоконтролируемое обучение (self-supervised learning) .
  3. Обучение с подкреплением (reinforcement learning) .

В качестве примера новых подходов Йошуа приводит проект Mila под названием Baby AI (babyAI) . Его цель — создание агентов ИИ, способных обучаться в процессе взаимодействия со средой и людьми, подобно тому, как это делают младенцы. Современные нейросети демонстрируют поверхностное понимание мира, пасуя перед задачами, которые легко решает годовалый ребенок .

Йошуа подчеркивает, что для решения таких фундаментальных концептуальных проблем ученым из университетов не нужны суперкомпьютеры Google или Facebook . Исследования можно эффективно проводить в простых симулируемых «игрушечных» средах, которые не требуют гигантских бюджетов .

В центре внимания современной науки об ИИ находится репрезентативное обучение (representation learning) . Понимая ключевое значение этой темы, Йошуа Бенджио и Ян Лекун в свое время основали профильную конференцию ICLR (International Conference on Learning Representations) . Сами Бенджио подтверждает, что вопрос о том, как именно нейросети кодируют и представляют информацию о мире, остается главным вызовом для индустрии.

🧩 Почему нейросети хрупки и не умеют обобщать как люди 19:15

Текущие исследования Сами Бенджио сфокусированы на анализе внутренних представлений нейросетей . Его интересуют следующие вопросы:

Особое внимание Сами уделяет хрупкости нейросетей и феномену состязательных атак (adversarial training) . По его мнению, уязвимость ИИ перед минимальными изменениями входных данных свидетельствует о том, что мы все еще очень плохо понимаем принципы работы глубоких моделей .

Йошуа Бенджио соглашается с братом, указывая на то, что современные ИИ-системы обладают лишь поверхностным пониманием причинно-следственных связей . Вместо глубокого анализа они цепляются за низкоуровневые статистические маркеры, присутствующие в обучающей выборке .

Из-за этого современные нейросети не способны к истинному обобщению при изменении распределения данных (out-of-distribution generalization) . Например, беспилотный автомобиль, обученный в солнечной Калифорнии, неизбежно столкнется с серьезными трудностями на заснеженных улицах Монреаля из-за радикального изменения внешней среды . Человек же способен адаптироваться к таким изменениям мгновенно.

В индустрии эту проблему пытаются решать с помощью расширения обучающих выборок и искусственного создания визуальных деформаций . Но исследователи подчеркивают: это лишь маскировка симптомов, а не решение фундаментальной архитектурной проблемы.

Разговор заходит и о создании программных инструментов. Братья Бенджио внесли огромный вклад в создание инфраструктуры ИИ:

⚖️ Этика, регулирование и авиационные аналогии для ИИ 25:05

Развитие искусственного интеллекта накладывает на ведущих ученых огромную социальную ответственность . По мнению Йошуа, академическое сообщество обязано использовать свой авторитет, чтобы направлять дискуссию о будущем технологий в конструктивное русло .

В Монреале институт Mila совместно с философами, юристами, экономистами и медиками разработал «Монреальскую декларацию ответственного развития ИИ» (Montreal Declaration for the Responsible Development of AI) . Документ содержит 10 фундаментальных этических принципов и 60 детальных подпунктов .

Йошуа признает, что соблюдение этих принципов на практике неизбежно наткнется на сопротивление рынка . Коммерческие компании стремятся максимизировать прибыль и продавать больше продуктов, а государства преследуют свои военно-политические цели. Задача этики в данном контексте — найти разумный баланс между противоположными ценностями . Сами Бенджио отмечает, что крупные корпорации также понимают эти риски: например, Google разработал свои внутренние принципы работы с ИИ .

На вопрос о том, как контролировать технологию, которая уже выпущена в открытый доступ, Йошуа предлагает использовать опыт авиационной промышленности . Государства жестко регулируют авиастроительную отрасль . Несмотря на то, что это накладывает на авиакомпании огромные финансовые расходы, наличие единых строгих правил безопасности в конечном итоге выгодно всем: и пассажирам, и самому бизнесу .

Йошуа Бенджио считает, что аналогичная система международных стандартов и государственной сертификации должна быть создана и для продуктов на базе искусственного интеллекта . На возражение о том, что регулирование бессильно против хакеров и «стран-изгоев», ученый отвечает, что химическое оружие также может быть создано преступниками, но это не мешает международному сообществу признавать его незаконным и успешно бороться с его распространением на государственном уровне .

В завершение беседы братья Бенджио сошлись во мнении, что создание полноценного общего искусственного интеллекта (AGI) — это долгосрочная научная цель, до достижения которой человечеству еще очень далеко . Сами Бенджио признается, что его личная мотивация не изменилась с юношеских лет: каждый день продвигаться на шаг вперед в понимании того, как устроено мышление и обучение .

💬 Цитаты

«Я довольно упрям, верил в собственное видение и думал, что все остальные ошибаются, а я прав.»

Йошуа Бенджио 07:56

«Этические принципы иногда будут вступать в противоречие с желанием продать больше продуктов или военными амбициями.»

Йошуа Бенджио 26:55
👥 Спикеры
📚 Упомянутые книги
🔗 Упомянутые сайты и проекты
📖 Термины
Глубокое обучение
Подраздел машинного обучения, использующий многослойные нейронные сети для моделирования сложных закономерностей в данных.
AutoML
Автоматизация процесса применения машинного обучения к реальным задачам, включая поиск архитектуры нейросетей.
Репрезентативное обучение (Representation Learning)
Набор методов, позволяющих системе автоматически обнаруживать представления, необходимые для обнаружения признаков в исходных данных.
Состязательная тренировка (Adversarial Training)
Метод обучения моделей с использованием специально искаженных примеров для повышения их устойчивости к атакам и ошибкам.
📊 Цифры
🗓 Хронология
  1. 1977 год Семья Бенджио иммигрирует в Канаду после недолгого пребывания во Франции и Марокко.
  2. 1985 год Йошуа Бенджио поступает в магистратуру и увлекается работами Джеффри Хинтона о нейросетях.
  3. 1989 год Сами Бенджио начинает докторскую диссертацию (PhD) по теме AutoML под неформальным наставничеством брата.
  4. 1999 год Сами переезжает в Швейцарию для независимой исследовательской работы в IDIAP.
  5. 2007 год Сами Бенджио присоединяется к Google AI для работы с большими масштабами данных и вычислений.
  6. 2018 год Публикация Монреальской декларации ответственного ИИ.
⚖️ Другая сторона
Искусственный интеллект Йошуа Бенджио Сами Бенджио глубокое обучение Mila Google AI