Эволюция обработки естественного языка: Крис Маннинг об истории и будущем NLP 0:02
Интервью с Крисом Маннингом, профессором Стэнфордского университета и директором Стэнфордской лаборатории ИИ, проливает свет на трансформацию области обработки естественного языка (NLP) — от эпохи жестких лингвистических правил до господства нейросетей и трансформеров. Маннинг, один из самых цитируемых исследователей в этой сфере, делится экспертным взглядом на то, как машинное обучение перевернуло представление об анализе человеческой речи.
От лингвистики к машинному обучению 🧠 1:08
Путь Криса Маннинга в ИИ начался с интереса к когнитивным аспектам языка и тому, как маленькие дети способны овладевать сложнейшими грамматическими структурами. В конце 1980-х годов в лингвистике доминировала парадигма Ноама Хомского, утверждавшая, что человек обладает врожденными механизмами для усвоения языка, так как освоение «только из данных» казалось невозможным.
Маннинг вспоминает, что в то время машинное обучение было маргинальным направлением:
- NLP базировалось на экспертных знаниях и «ручном» кодировании правил специалистами.
- Машинное обучение считалось «неряшливым» ответвлением ИИ, которым занимались единицы.
- Ранние алгоритмы, такие как ID3 (обучение деревьям решений), только начинали появляться.
По словам исследователя, его привлекла сама идея обучения компьютеров на основе данных, что в итоге и предопределило его академическую карьеру.
Революция трансформеров и отказ от явного синтаксиса ⚙️ 7:34
До эпохи глубокого обучения в NLP доминировали вероятностные методы над символьными структурами. Важным этапом было статистическое машинное перевод (MT) на основе фраз. Google, например, изначально использовала правила компании SYSTRAN, но позже перешла на статистические модели, что радикально улучшило качество перевода.
Однако период 2010–2014 годов характеризовался застоем, так как попытки внедрить синтаксические структуры в перевод работали лишь для ограниченного числа языковых пар.
Прорыв произошел с внедрением нейронных методов:
- Илья Суцкевер и его коллеги показали, что большие рекуррентные нейронные сети (RNN), работающие с последовательностями данных, позволяют строить качественные системы перевода.
- Дмитрий Баданов и Кёнхён Чо разработали механизм внимания (attention), который позволил моделям динамически обращаться к исходным частям текста, имитируя работу переводчика-человека.
- Маннинг и его студент Танг Луонг предложили билинейное внимание (также известное как мультипликативное), которое в упрощенном виде легло в основу современных архитектур трансформеров.
Как отмечает Маннинг, ирония ситуации заключается в том, что лучшие результаты были достигнуты, когда разработчики стали обращать меньше внимания на лингвистический синтаксис и больше — на данные и вычислительную мощность.
Масштабирование: стоит ли оно того? 📈 27:19
Современный тренд на создание гигантских моделей, таких как GPT-3, основан на экспоненциальном росте вычислительных ресурсов и данных. Маннинг подчеркивает, что с 2018 года (после выхода BERT) прогресс в NLP во многом движим «закидыванием проблемы ресурсами».
Гость интервью высказывает скепсис относительно того, что простое увеличение масштабов является путем к AGI (искусственному общему интеллекту):
- Существует физический предел: мы начинаем испытывать нехватку качественных текстов и мощностей.
- GPT-3 демонстрирует генеративные способности за счет «сопоставления паттернов» (pattern matching), а не подлинного обучения в процессе решения задач.
- Настоящий интеллект, по мнению Маннинга, требует метаобучения — способности системы эффективно учиться как учиться новым вещам при столкновении с ними.
Советы будущим исследователям 💡 37:40
Крис Маннинг считает, что сегодня — лучшее время для начала карьеры в ИИ благодаря огромному спросу в индустрии и науке. Однако он дает начинающим специалистам несколько важных рекомендаций:
- Развивайте широту интересов: Не стоит фокусироваться только на текущих доминирующих методах (сейчас это глубокое обучение), так как технологии развиваются быстро, а старые идеи часто переоткрываются в новом контексте.
- Будьте критичны: Умение «сломать» существующий метод, задаваясь вопросом «почему они делают это именно так?», — ключевой навык креативного исследователя.
- Читайте «дико» и широко: Способность находить связи между лингвистикой, математикой и компьютерными науками позволяет делать по-настоящему прорывные открытия.
Маннинг заключает: секрет успеха заключается в том, чтобы держать свои «антенны» настроенными на новые идеи, оставаться адаптивным и готовым менять направление исследований.
