Будущее ИИ: Почему Ян Лекун призывает отказаться от LLM и строить «модели мира» 0:00
Главный научный сотрудник Meta Ян Лекун (Yann LeCun) выступил с критическим анализом текущего состояния индустрии искусственного интеллекта, поставив под сомнение доминирование больших языковых моделей (LLM) как единственного пути к сильному ИИ (AGI). В беседе, проанализированной автором канала Wes Roth, Лекун утверждает, что для достижения по-настоящему разумных систем, способных планировать и действовать в физическом мире, необходима архитектура совершенно нового типа.
🚧 Пределы языковых моделей 1:19
Лекун полагает, что современные LLM достигли своего потолка в плане развития интеллекта. Основные аргументы против текущего подхода:
- Дискретность против реальности: LLM оперируют токенами — дискретными единицами, которые либо присутствуют в наборе данных, либо нет. Однако физический мир непрерывен и многомерен.
- Неэффективность обучения: Для обучения текущих моделей требуются триллионы токенов текста. По мнению эксперта, человеку потребовалось бы 400 000 лет, чтобы прочитать такой объем данных, в то время как ребенок за 4 года жизни получает через визуальный канал в разы больше информации, что позволяет ему формировать глубокое понимание физики.
- Иллюзия рассуждения: То, что мы сегодня называем «агентным рассуждением» в LLM, по сути является стохастическим перебором вариантов — «написанием программы без понимания того, как писать программы».
По словам Лекуна, попытки обучить системы понимать физику, предсказывая пиксели видео (генеративные методы), потерпели неудачу, так как модели тратят ресурсы на предсказание непредсказуемых деталей, вместо того чтобы учить абстрактные закономерности.
🧠 Концепция JEPA и «модели мира» 5:53
В качестве альтернативы Лекун предлагает архитектуру JEPA (Joint Embedding Predictive Architecture — совместная прогностическая архитектура с встраиванием).
- Суть JEPA: Вместо попыток реконструировать входные данные (например, каждый пиксель видео) система учится делать предсказания в абстрактном «латентном» пространстве.
- Как это работает: Модель обучается представлять текущее состояние мира и предсказывать его изменение в ответ на предполагаемое действие. Это позволяет системе планировать последовательность шагов для достижения цели.
- Аналогия с биологией: Лекун проводит параллель с развитием младенцев: ребенок учится «интуитивной физике» (например, осознанию того, что предмет падает, если его не поддерживать) примерно к 9 месяцам. Если модель видит объект, нарушающий физические законы, она регистрирует «ошибку предсказания» — именно так работают «модели мира».
🔮 Прогнозы и скепсис 12:27
Лекун выражает глубокий скептицизм по поводу популярных прогнозов о скором появлении «страны гениев в дата-центре».
- Атаки на хайп: Он считает идею о том, что простое масштабирование LLM приведет к человеческому уровню интеллекта, «полной ерундой».
- Наука и медицина: Несмотря на скепсис по отношению к LLM как к основе AGI, Лекун признает огромную ценность ИИ в науке: модели уже успешно применяются для предсказания сворачивания белков, дизайна лекарств и оптимизации медицинских изображений.
- Железо: Лекун признает, что создание таких систем — дорогостоящая задача, требующая огромных вычислительных мощностей, и в шутку призывает NVIDIA снизить цены.
👁️ «Внутренний монолог» ученого 34:53
Интересной деталью дискуссии стала особенность мышления самого Яна Лекуна. В ответ на вопрос о наличии «внутреннего диалога» (внутреннего голоса), который характерен для многих людей, он ответил отрицательно. Автор видео предполагает, что идеи Лекуна об архитектуре ИИ могут частично опираться на его собственный когнитивный стиль — мышление образами и абстрактными концепциями, а не словами.
