В рамках серии интервью «Heroes of Deep Learning» от DeepLearning.AI основатель проекта Эндрю Ын беседует с Яном Лекуном — одним из главных архитекторов современного искусственного интеллекта. В ходе беседы Лекун раскрывает историю становления сверточных нейронных сетей, вспоминает «зимы ИИ» и объясняет, почему открытость исследований в крупных корпорациях важнее защиты интеллектуальной собственности.
🧠 Истоки: от «Космической одиссеи» до споров философов 0:03
Путь Яна Лекуна в науку начался с детского увлечения вопросами возникновения интеллекта и биологической эволюции человека . Как вспоминает учёный, ключевое влияние на него оказал фильм «2001 год: Космическая одиссея», где были показаны разумные машины и космические путешествия . Однако настоящий научный интерес проснулся во время учёбы на втором курсе инженерного факультета, когда он случайно наткнулся на книгу о философских дебатах 1980-го года между лингвистом Ноамом Хомским и психологом Жаном Пиаже .
В этой дискуссии обсуждались природа и воспитание (nature vs nurture). На стороне Пиаже выступал Сеймур Пейперт из MIT, который упоминал модель перцептрона — одну из первых обучаемых машин . Ян Лекун утверждает, что до этого момента никогда не слышал о перцептронах, но идея машины, способной к обучению, мгновенно его захватила. Он начал искать литературу в университетских библиотеках и обнаружил, что активные исследования в этой области прекратились ещё в конце 60-х годов .
🧪 Рождение алгоритма обратного распространения ошибки 3:37
К моменту окончания инженерного образования Ян Лекун уже понимал, что ключевая нерешенная проблема в литературе 60-х — обучение нейронных сетей с несколькими слоями . В начале 80-х интерес к нейросетям сохраняли лишь небольшие группы физиков и психологов; для инженеров и компьютерных специалистов эта тема считалась «неприличной» .
Важные вехи в становлении теории по версии Лекуна:
- 1985 год: Ян Лекун знакомится с Терри Сейновски на воркшопе во Франции. В это время Лекун уже работал над собственной версией алгоритма обратного распространения ошибки (backpropagation), ещё до публикации официальной работы Румельхарта, Хинтона и Уильямса .
- Независимое открытие: Лекун подчеркивает, что идея обратного распространения (chain rule) фактически является адаптацией методов оптимального управления, разработанных еще в начале 60-х .
- Встреча с Джеффри Хинтоном: В июне 1985 года Хинтон, будучи приглашенным спикером на конференции во Франции, специально искал встречи с Лекуном. Хинтон прочитал статью Яна на французском языке и по математическим формулам понял, что «какой-то парень из Франции» независимо пришел к тем же выводам об обучении многослойных сетей .
🏗️ Эпоха Bell Labs и создание LeNet 7:35
В октябре 1988 года Ян Лекун присоединился к AT&T Bell Labs. По его словам, это было «золотое время» для исследований. Его руководитель Ларри Джекел перед выходом Лекуна на работу спросил, какой компьютер ему нужен. Ян попросил мощную рабочую станцию Sun 4, которая тогда была редкостью. Джекел заказал её, мотивируя это фразой: «В Bell Labs не становятся знаменитыми, экономя деньги» .
Основные достижения этого периода:
- Работа с данными: У команды был доступ к базе данных USPS (Почтовая служба США), содержащей 5 000 образцов рукописных цифр .
- Эволюция архитектуры: Первая версия сверточной сети была создана в течение трех месяцев. Из-за нехватки вычислительных мощностей в ней не было отдельных слоев пулинга (pooling) — субдискретизация происходила прямо во время свертки .
- LeNet-1: Вторая версия уже имела раздельные слои свертки и пулинга, став классической архитектурой .
Ян Лекун отмечает, что успех LeNet долгое время оставался локальным. В конце 80-х — начале 90-х не было интернета в современном понимании, не существовало Python или MATLAB. Лекуну и его коллеге Леону Ботту пришлось полтора года писать собственный симулятор нейросетей и интерпретатор языка Lisp, чтобы управлять вычислениями .
📉 Корпоративный раскол и «зима» нейросетей 14:14
Несмотря на технологический триумф — систему LeNet внедрили в банках для распознавания чеков — в 1995 году проект столкнулся с бюрократической катастрофой. Корпорация AT&T объявила о разделении на три компании: AT&T, Lucent Technologies и NCR .
По словам Лекуна, это привело к абсурдной ситуации:
- Патент на сверточные нейронные сети передали компании NCR.
- Инженерная группа ушла в Lucent.
- В NCR никто не понимал, что такое сверточные сети и как ими пользоваться.
- Исследовательская группа осталась в AT&T, потеряв юридическую возможность развивать технологию .
Этот период (примерно с 1995 по 2002 годы) Лекун называет «темными временами», когда интерес к нейросетям в научном сообществе практически исчез . Сам Ян в это время переключился на проект DjVu — технологию сжатия отсканированных документов, которая позже использовалась для оцифровки архивов конференций NIPS .
🚀 Революция ImageNet 2012 года 19:55
Переломным моментом для всей индустрии стал воркшоп ImageNet на конференции ECCV во Флоренции в конце 2012 года . Команда Алекса Крижевского и Джеффри Хинтона победила в конкурсе с огромным отрывом, используя сверточные нейросети (AlexNet).
Ян Лекун вспоминает, что большинство молодых специалистов по компьютерному зрению на тот момент даже не знали, что такое сверточные сети . Когда Крижевский выступал с докладом, аудитория была потрясена. Лекун считает этот воркшоп «определяющим моментом», который изменил мнение всего сообщества компьютерного зрения .
🏛️ Философия FAIR: наука без секретов 21:26
Сегодня Ян Лекун совмещает работу профессора в Нью-Йоркском университете (NYU) и руководство лабораторией фундаментальных исследований ИИ в Facebook (FAIR). Он утверждает, что при создании FAIR поставил условие полной открытости исследований .
По мнению Лекуна, эффективная корпоративная лаборатория должна строиться на следующих принципах:
- Обязательные публикации: Исследователи не просто могут, а обязаны публиковать свои работы в открытом доступе .
- Отказ от одержимости IP: Facebook не стремится спрятать интеллектуальную собственность под замок, что облегчает сотрудничество с университетами .
- Свобода академической деятельности: Лекун считает крайне ценным формат работы «одной ногой в индустрии, другой в академии». Большинство его публикаций последних лет написаны совместно со студентами NYU, а не штатными сотрудниками Facebook .
💡 Советы будущим исследователям 25:34
Для тех, кто хочет войти в сферу ИИ сегодня, Ян Лекун дает практический совет: «Сделайте себя полезными» .
Он рекомендует:
- Участвовать в проектах с открытым исходным кодом (Open Source) .
- Выбрать важную научную статью, реализовать описанный в ней алгоритм, если его кода нет в сети, и выложить реализацию в открытый доступ .
- Такой подход, по утверждению Лекуна, — лучший способ получить приглашение в престижную PhD-программу или оффер в компанию мечты .
