Ян Лекун: Почему GPT-4 — это тупиковый путь к интеллекту

Lex Fridman 1,3 млн 2 ч 47 мин 5 мин 07.03.2024
Главное

🧠 Конец эпохи LLM: Почему современные нейросети — это тупик

Ян Лекун, один из «крестных отцов» современного искусственного интеллекта и главный ученый Meta AI, выступает с резкой критикой текущего пути развития индустрии. Несмотря на оглушительный успех GPT-4 и LLaMA, он утверждает: авторегрессионные большие языковые модели (LLM) никогда не достигнут уровня человеческого интеллекта.

Основная проблема современных LLM заключается в четырех фундаментальных отсутствующих компонентах:

  1. Понимание физического мира. Модели обучаются на текстах, которые являются лишь бледным и сжатым отражением реальности.
  2. Персистентная память. У нейросетей нет долгосрочного хранилища опыта, которое они могли бы обновлять в реальном времени.
  3. Способность к рассуждению. То, что мы принимаем за логику, часто является статистической вероятностью следующего слова.
  4. Планирование. LLM генерируют токены один за другим, не «продумывая» ответ целиком перед началом генерации.

📊 Парадокс данных: текст против реальности

Лекун приводит поразительную статистику: для обучения современной LLM требуется около 10^13 токенов. Человеку понадобилось бы 170 000 лет, чтобы прочитать такой объем текста со скоростью 8 часов в день.

При этом 4-летний ребенок за время бодрствования (около 16 000 часов) получает через зрительный нерв примерно 10^15 байт информации. Это на два порядка больше данных, чем в распоряжении самых мощных нейросетей. Вывод Лекуна однозначен: большая часть человеческих знаний — это не язык, а чувственное восприятие и взаимодействие с миром. Мы учимся понимать гравитацию и инерцию задолго до того, как узнаем слова для их описания.


🏗️ Мировая модель и архитектура JEPA: новый путь к AmI

Вместо термина AGI (General Intelligence) Лекун предпочитает использовать AmI — Advanced Machine Intelligence (Продвинутый машинный интеллект). Чтобы достичь его, нужно отказаться от «генеративного» подхода в пользу предиктивного в пространстве представлений.

Ян предлагает архитектуру JEPA (Joint Embedding Predictive Architecture). В отличие от генеративных моделей, которые пытаются предсказать каждый пиксель на картинке (что избыточно и крайне сложно), JEPA работает иначе:


🔑 Открытый исходный код как гарант демократии

Одной из самых острых тем дискуссии стала политика открытости. Лекун является ярым защитником Open Source в ИИ, и компания Meta делом доказывает эту позицию, выпуская модели семейства LLaMA.

🌍 Против диктатуры «Западного побережья»

Ян Лекун уверен, что закрытые проприетарные системы — это угроза будущему:

  1. Культурное разнообразие: Нельзя допустить, чтобы весь информационный «рацион» человечества контролировался тремя компаниями из Калифорнии. Французское правительство или жители Сенегала не захотят, чтобы их ИИ-помощники навязывали им американские ценности и политические взгляды.
  2. Эффективность бизнеса: Открытый код привлекает миллионы разработчиков. Это ускоряет прогресс. Meta выигрывает не от продажи доступа к API, а от того, что на базе её открытых моделей строится огромная экосистема, которая в конечном итоге делает сервисы компании (WhatsApp, Instagram) лучше.
  3. Свобода слова: В ИИ невозможно избежать предвзятости (bias). То, что один считает нормой, для другого — оскорбление. Решением является не одна «идеально вычищенная» модель, а многообразие моделей, настроенных под разные сообщества и культуры.

🛡️ Отделение ИИ от «цензуры»

Комментируя скандалы вокруг Google Gemini (неточное отображение исторических фигур, например, темнокожих отцов-основателей США), Лекун отмечает, что это результат попыток крупных корпораций «перестраховаться». Когда компания боится судебных исков или гнева Конгресса, она вводит жесткие фильтры, которые делают систему нелепой и нефактологичной. Open Source позволяет людям самим решать, какие «фильтры» им нужны.


🌪️ Развенчание мифов об «ИИ-апокалипсисе»

Лекун скептически относится к движению «думеров» (тех, кто предрекает гибель человечества от рук ИИ). Его аргументы против экзистенциальной угрозы звучат так:


🚀 Будущее: ИИ-помощники и робототехника

Ян Лекун предсказывает, что через 10-15 лет мы будем взаимодействовать с цифровым миром исключительно через ИИ-ассистентов (возможно, встроенных в умные очки, как Ray-Ban Meta).

🤖 Почему у нас до сих пор нет роботов-горничных?

Ответ кроется в парадоксе Моравека: то, что сложно для человека (игра на бирже, расчет интегралов), легко для компьютера. То, что легко для ребенка (убрать со стола, загрузить посудомойку), — невероятно сложно для робота.

Для создания домашних роботов нужны:

  1. Иерархическое планирование: Машина должна понимать, что задача «полететь из Парижа в Нью-Йорк» разбивается на «встать со стула», «найти такси», «доехать до аэропорта». Сейчас ИИ не умеет синтезировать такие цепочки с учетом физической реальности.
  2. Энергоэффективность: Человеческий мозг потребляет 25 ватт. Современный GPU — сотни ватт, при этом его вычислительная мощность всё ещё на порядки ниже мозговой.

📚 Новое Просвещение

Лекун сравнивает внедрение ИИ с изобретением печатного пресса. Книги сделали людей умнее, что привело к науке, демократии и промышленной революции. ИИ станет «усилителем мозгов». Каждый человек станет «менеджером» команды виртуальных ассистентов, которые умнее его самого.

Интеллект — это самый дефицитный товар на планете. Ян Лекун верит, что, сделав человечество умнее с помощью открытого ИИ, мы сможем решить проблемы, которые раньше казались неразрешимыми. Его оптимизм непоколебим: «Люди фундаментально добры. Дайте им больше ума, и они сделают мир лучше».

💬 Цитаты

«Большая часть человеческих знаний — это не язык, а чувственное восприятие и взаимодействие с миром.»

Ян Лекун

«Интеллект — это инструмент, а не биологический вид с инстинктом выживания.»

Ян Лекун

«Люди фундаментально добры. Дайте им больше ума, и они сделают мир лучше.»

Ян Лекун
👥 Спикеры
🔗 Упомянутые сайты и проекты
📖 Термины
LLM (Large Language Models)
Большие языковые модели, обучающиеся предсказывать следующее слово в тексте.
JEPA (Joint Embedding Predictive Architecture)
Архитектура, предсказывающая смысловые представления объектов в пространстве абстракций, а не пиксели.
AmI (Advanced Machine Intelligence)
Термин Лекуна для обозначения продвинутого машинного интеллекта вместо общего понятия AGI.
Парадокс Моравека
Принцип, согласно которому сложные для людей задачи требуют мало вычислений для ИИ, и наоборот.
Авторегрессионные модели
Системы, генерирующие контент последовательно, где каждый новый элемент зависит от предыдущих.
Искусственный интеллект Ян Лекун Meta AI LLM JEPA Open Source