# Братья Бенджио: история пионеров глубокого обучения, хрупкость нейросетей и будущее ИИ

Источник: https://www.youtube.com/watch?v=73Gvs7V3Cas
Канал: Eye on AI
Опубликовано: 05.04.2019

---

Братья Йошуа и Сами Бенджио — уникальное явление в мире современных технологий: два родных брата стали одними из самых влиятельных ученых в сфере глубокого обучения. В этом редком совместном интервью они делятся историей своего детства, рассказывают о переходе от подростковых экспериментов с первыми компьютерами к созданию фундамента современной индустрии искусственного интеллекта, а также спорят о роли коммерческих гигантов и государственной поддержке науки. Особое внимание исследователи уделяют техническим ограничениям современных нейросетей, их хрупкости и необходимости жесткого этического регулирования со стороны государства.

## 🌍 От парижских хиппи до пионеров глубокого обучения: корни братьев Бенджио
[[JUMP:0:00]]

Корни выдающихся научных достижений братьев Бенджио уходят в атмосферу бунтарства и гуманизма [0:00]. Их родители были настоящими французскими хиппи, активно участвовавшими в студенческих протестах легендарного мая 1968 года в Париже [1:07]. По воспоминаниям братьев, именно родители привили им глубокий интерес к науке и те гуманистические ценности, которые сегодня определяют их отношение к этике искусственного интеллекта.

Семья вела кочевой и творческий образ жизни, из-за чего братьям пришлось сменить немало стран. Отец семейства по образованию был фармацевтом, но также изучал философию, а в итоге посвятил себя искусству и театру [2:03]. Мать изучала экономику, работала на самых разных работах и впоследствии также ушла в сферу искусства, занимаясь менеджментом художников и актеров. Финансовое положение семьи долгое время оставалось скромным.

Важной частью их семейной истории является Марокко, где родились их родители. В начале 1960-х годов значительная часть еврейской общины покинула Марокко [3:26]. Большинство уехало во Францию, Канаду, США и Израиль. Семья Бенджио ненадолго вернулась в Марокко на один год, чтобы отец мог пройти там военную службу [3:10]. 

Братья открыто признают, что им повезло родиться и вырасти в благополучных западных странах [2:43]. По мнению Йошуа, этот привилегированный статус накладывает на них ответственность перед людьми из развивающихся стран, лишенными подобных возможностей. В 1977 году семья приняла совместное решение эмигрировать в Канаду [3:55]. Главным фактором стала мечта о Новом Свете и то, что в Монреале уже жили бабушка и дедушка братьев [4:08]. С тех пор Йошуа Бенджио живет в Монреале уже более 40 лет [4:20].

## 💻 Первая искра: от Atari 800 до «обучения обучению»
[[JUMP:4:37]]

Интерес к компьютерам проснулся у братьев еще в подростковом возрасте [4:37]. Не имея больших денег, они скопили средства и вместе приобрели свой первый домашний компьютер — Atari 800 [5:02]. В те годы не было даже гибких дискет, программы писались на языке Basic и сохранялись на обычных аудиокассетах [5:16]. Это совместное увлечение определило их дальнейший образовательный путь.

После школы пути братьев на время разошлись по разным канадским университетам:

*   Сами Бенджио выбрал компьютерную инженерию, а затем компьютерные науки [5:28].
*   Йошуа Бенджио с самого начала изучал компьютерные науки, поступив в Университет Макгилла (McGill University), в то время как Сами учился в Монреальском университете [5:42].

Однако вскоре их академические интересы снова пересеклись [5:55]. В 1985 году Йошуа начал обучение в магистратуре и наткнулся на первые статьи по нейронным сетям, включая работы Джеффри Хинтона о коннекционизме [6:08]. Выход в 1986 году фундаментального двухтомника PDP (Parallel Distributed Processing) окончательно сформировал его страсть к исследованиям ИИ [6:22]. Йошуа признается, что буквально влюбился в идею понять принципы работы человеческого мозга и воссоздать их в интеллектуальных машинах [6:22].

Увлечение Йошуа передалось и его младшему брату [6:37]. Когда в 1989 году Сами начинал свою докторскую диссертацию (PhD), в его университете никто не занимался нейросетями [6:51]. Его неофициальным руководителем и главным научным партнером стал Йошуа. 

Вместе они опубликовали ряд знаковых работ по теме, которую сегодня называют AutoML (автоматическое машинное обучение) [7:04]. В конце 1980-х годов эта концепция определялась братьями как «обучение обучению» (learning to learn) [7:18]. По признанию Сами, в те годы им критически не хватало вычислительной мощности для полноценной реализации своих идей, которые стали по-настоящему востребованными лишь спустя 25 лет.

## ❄️ Выживание в «зиму ИИ» и академическая свобода в Канаде
[[JUMP:7:44]]

Период, известный как «зима искусственного интеллекта», заставил многих ученых отказаться от исследований нейросетей, но братья Бенджио остались верны своему направлению. На вопрос о том, что помогло ему выстоять, Йошуа с улыбкой отвечает, что он просто крайне упрям [7:56]. 

По словам Йошуа, он твердо верил в собственное видение и считал, что все остальные ошибаются [7:56]. Огромную роль сыграла психологическая поддержка единомышленников — Джеффри Хинтона и Яна Лекуна, а также канадской исследовательской организации CIFAR, которая помогла формализовать их сообщество [8:11]. Сами добавляет, что в этой сфере всегда оставалось слишком много нерешенных и интересных вопросов, поэтому у них просто не было причин менять тему работы [8:24].

Другим ключевым фактором выживания школы глубокого обучения в Канаде стала государственная политика финансирования науки [8:51]. Йошуа подчеркивает, что канадское правительство на протяжении десятилетий выделяло гранты на фундаментальные исследования, основанные исключительно на научном любопытстве (curiosity-based funding), без требования немедленного коммерческого применения.

Именно этот подход лег в основу создания Mila — Квебекского института искусственного интеллекта, основанного Йошуа [9:15]. Философия Mila базируется на трех китах:

1.  Полная свобода научных исследований.
2.  Широкое сотрудничество между учеными.
3.  Коллегиальность.

По мнению Йошуа, только в таких условиях возможен настоящий прорыв, выходящий за рамки инкрементального (пошагового) прогресса [9:30].

## 🤝 Разделение путей: Швейцария и большая индустрия
[[JUMP:9:46]]

После защиты докторской диссертации Сами Бенджио принял сознательное решение выйти из тени старшего брата [9:46]. Он переехал в Швейцарию, где с 1999 по 2007 год работал в небольшом, но сильном научно-исследовательском институте IDIAP [10:55]. 

По словам Сами, для ученого критически важно сменить обстановку и научиться мыслить независимо, избегая постоянного влияния одного и того же авторитета [10:00]. Швейцария предоставила ему отличные условия: простое получение грантов и достаточные для того времени вычислительные мощности. При этом братья продолжали тайно сотрудничать, даже деля между собой аспирантов [10:41].

В 2007 году Сами сделал важный шаг и присоединился к Google [10:55]. В то время индустрия еще не осознавала потенциал глубокого обучения. Главным стимулом для Сами стал доступ к колоссальным массивам данных и вычислительным ресурсам, которые позволяли масштабировать модели на реальные задачи [11:23]. Google пообещал ему свободу исследований при условии, что его работа будет приносить долгосрочную пользу компании [11:37].

Этот шаг вскрыл фундаментальное противоречие между академической наукой и корпорациями. Йошуа Бенджио последовательно отказывался переходить в коммерческий сектор [12:05]. Он высказывает серьезное беспокойство тем, что технологические гиганты «пылесосят» лучшие умы из университетов [12:05]. Это создает опасный дефицит профессоров, способных обучать и курировать следующее поколение студентов.

Сами Бенджио предлагает более мягкую трактовку [12:47]. По его мнению, граница между академией и индустрией сегодня размыта. Сами выделяет несколько факторов, сглаживающих конфликт:

*   Доступность данных и вычислительных мощностей сегодня стала повсеместной, и университеты уже не так обделены [12:47].
*   Крупные компании, имея сверхприбыли, позволяют своим исследовательским подразделениям заниматься долгосрочной фундаментальной наукой и открыто публиковать свои результаты [13:12].
*   Корпорации активно инвестируют в академические институты (например, Google спонсирует Mila) [13:37].

Тем не менее, Йошуа настаивает на необходимости сохранения доминирующей роли государственного финансирования науки [13:51]. Он напоминает, что коммерческий интерес подвержен экономическим циклам и может внезапно угаснуть, в то время как государственная поддержка обеспечивает стабильность развития [14:06].

## 🧠 Будущее ИИ: за пределами контролируемого обучения
[[JUMP:15:00]]

Эпоха бурного коммерческого внедрения нейросетей началась в 2010–2011 годах [17:30]. Братья вспоминают, что этот прорыв произошел благодаря переходу от сложных методов ненаправленного обучения (unsupervised learning) к прямому обучению с учителем (supervised learning) [17:17]. Именно это дало мощный толчок развитию систем распознавания речи, компьютерного зрения и машинного перевода [17:43].

Однако оба исследователя сходятся во мнении, что обучение с учителем исчерпало свой концептуальный потенциал и не способно привести человечество к созданию полноценного ИИ человеческого уровня [17:57]. Люди не требуют разметки миллионов картинок для того, чтобы научиться распознавать объекты [17:57].

Будущее ИИ лежит в области альтернативных подходов:

1.  Неконтролируемое обучение (unsupervised learning) [15:14].
2.  Самоконтролируемое обучение (self-supervised learning) [18:09].
3.  Обучение с подкреплением (reinforcement learning) [18:09].

В качестве примера новых подходов Йошуа приводит проект Mila под названием Baby AI (babyAI) [15:26]. Его цель — создание агентов ИИ, способных обучаться в процессе взаимодействия со средой и людьми, подобно тому, как это делают младенцы. Современные нейросети демонстрируют поверхностное понимание мира, пасуя перед задачами, которые легко решает годовалый ребенок [15:51].

Йошуа подчеркивает, что для решения таких фундаментальных концептуальных проблем ученым из университетов не нужны суперкомпьютеры Google или Facebook [16:05]. Исследования можно эффективно проводить в простых симулируемых «игрушечных» средах, которые не требуют гигантских бюджетов [16:05].

В центре внимания современной науки об ИИ находится репрезентативное обучение (representation learning) [18:21]. Понимая ключевое значение этой темы, Йошуа Бенджио и Ян Лекун в свое время основали профильную конференцию ICLR (International Conference on Learning Representations) [18:46]. Сами Бенджио подтверждает, что вопрос о том, как именно нейросети кодируют и представляют информацию о мире, остается главным вызовом для индустрии.

## 🧩 Почему нейросети хрупки и не умеют обобщать как люди
[[JUMP:19:15]]

Текущие исследования Сами Бенджио сфокусированы на анализе внутренних представлений нейросетей [19:15]. Его интересуют следующие вопросы:

*   Как меняются внутренние репрезентации, если обучать разные модели на одной и той же задаче? [19:15]
*   Можно ли измерить математическую дистанцию между этими представлениями при изменении параметров задачи? [19:28]

Особое внимание Сами уделяет хрупкости нейросетей и феномену состязательных атак (adversarial training) [19:53]. По его мнению, уязвимость ИИ перед минимальными изменениями входных данных свидетельствует о том, что мы все еще очень плохо понимаем принципы работы глубоких моделей [19:53].

Йошуа Бенджио соглашается с братом, указывая на то, что современные ИИ-системы обладают лишь поверхностным пониманием причинно-следственных связей [20:19]. Вместо глубокого анализа они цепляются за низкоуровневые статистические маркеры, присутствующие в обучающей выборке [20:32].

Из-за этого современные нейросети не способны к истинному обобщению при изменении распределения данных (out-of-distribution generalization) [20:45]. Например, беспилотный автомобиль, обученный в солнечной Калифорнии, неизбежно столкнется с серьезными трудностями на заснеженных улицах Монреаля из-за радикального изменения внешней среды [21:56]. Человек же способен адаптироваться к таким изменениям мгновенно.

В индустрии эту проблему пытаются решать с помощью расширения обучающих выборок и искусственного создания визуальных деформаций [22:36]. Но исследователи подчеркивают: это лишь маскировка симптомов, а не решение фундаментальной архитектурной проблемы.

Разговор заходит и о создании программных инструментов. Братья Бенджио внесли огромный вклад в создание инфраструктуры ИИ:

*   Йошуа Бенджио и его студенты создали библиотеку Theano [23:56].
*   Сами Бенджио стоял у истоков создания Torch (ставшего основой для PyTorch) [24:09].
*   Идеи Theano и Torch напрямую вдохновили инженеров Google на создание TensorFlow [24:09].

## ⚖️ Этика, регулирование и авиационные аналогии для ИИ
[[JUMP:25:05]]

Развитие искусственного интеллекта накладывает на ведущих ученых огромную социальную ответственность [25:05]. По мнению Йошуа, академическое сообщество обязано использовать свой авторитет, чтобы направлять дискуссию о будущем технологий в конструктивное русло [25:31]. 

В Монреале институт Mila совместно с философами, юристами, экономистами и медиками разработал «Монреальскую декларацию ответственного развития ИИ» (Montreal Declaration for the Responsible Development of AI) [26:10]. Документ содержит 10 фундаментальных этических принципов и 60 детальных подпунктов [26:10]. 

Йошуа признает, что соблюдение этих принципов на практике неизбежно наткнется на сопротивление рынка [26:55]. Коммерческие компании стремятся максимизировать прибыль и продавать больше продуктов, а государства преследуют свои военно-политические цели. Задача этики в данном контексте — найти разумный баланс между противоположными ценностями [27:09]. Сами Бенджио отмечает, что крупные корпорации также понимают эти риски: например, Google разработал свои внутренние принципы работы с ИИ [27:22].

На вопрос о том, как контролировать технологию, которая уже выпущена в открытый доступ, Йошуа предлагает использовать опыт авиационной промышленности [28:04]. Государства жестко регулируют авиастроительную отрасль [28:18]. Несмотря на то, что это накладывает на авиакомпании огромные финансовые расходы, наличие единых строгих правил безопасности в конечном итоге выгодно всем: и пассажирам, и самому бизнесу [28:30].

Йошуа Бенджио считает, что аналогичная система международных стандартов и государственной сертификации должна быть создана и для продуктов на базе искусственного интеллекта [28:42]. На возражение о том, что регулирование бессильно против хакеров и «стран-изгоев», ученый отвечает, что химическое оружие также может быть создано преступниками, но это не мешает международному сообществу признавать его незаконным и успешно бороться с его распространением на государственном уровне [29:09].

В завершение беседы братья Бенджио сошлись во мнении, что создание полноценного общего искусственного интеллекта (AGI) — это долгосрочная научная цель, до достижения которой человечеству еще очень далеко [29:51]. Сами Бенджио признается, что его личная мотивация не изменилась с юношеских лет: каждый день продвигаться на шаг вперед в понимании того, как устроено мышление и обучение [30:16].