# Ян Лекун, Себастьян Бубек и Тристан Харрис обсудили будущее ИИ

Источник: https://www.youtube.com/watch?v=EGDG3hgPNp8
Канал: World Science Festival
Опубликовано: 24.11.2023

---

На всемирном фестивале науки (World Science Festival) ведущий Брайан Грин вместе с ведущими экспертами Яном Лекуном, Себастьяном Бубеком и Тристаном Харрисом обсудили стремительную эволюцию искусственного интеллекта. Участники дискуссии попытались заглянуть «под капот» современных больших языковых моделей, чтобы понять природу их мышления и оценить риски, которые новая технологическая революция несет для человечества. В центре спора столкнулись полярные взгляды: от глубокого скепсиса относительно реальных когнитивных способностей нейросетей до экзистенциального страха перед неконтролируемой гонкой ИТ-гигантов.

## 🤖 Иллюзия разума и исторические уроки ИИ
[[JUMP:0:01]]

Дискуссия началась с демонстрации цифрового клона Брайана Грина, созданного студией Clone Works AI Studio. Текст приветствия был полностью написан моделью ChatGPT, а визуальный ряд и голос синтезированы искусственно. Продемонстрированная технология способна вызвать как восхищение, так и тревогу, становясь очередным переломным моментом в истории человечества, наряду с освоением огня, изобретением письменности, печатного станка и беспроводной связи. 

История ИИ знает несколько технологических парадигм, каждая из которых поначалу казалась финальным решением. Профессор Нью-Йоркского университета Ян Лекун напомнил о ключевых этапах развития этой индустрии:

* **1950-е годы**: Создание программы General Problem Solver Ньюэллом и Саймоном. Авторы верили, что любую проблему можно решить через оптимизацию целей, но концепция столкнулась со слишком высокими требованиями к вычислительным мощностям.
* **Эра перцептронов**: Первые попытки научить машины распознавать образы (например, буквы или технику). Эта технология быстро зашла в тупик из-за ограниченных возможностей обучения на сложных изображениях.
* **1970-1980-е годы**: Расцвет экспертных систем и японская программа «Пятого поколения компьютеров». Они базировались на логических правилах, вводимых людьми, но отсутствие гибкого машинного обучения привело к угасанию интереса.
* **Конец 1980-х — настоящее время**: Появление и возрождение многослойных нейросетей (глубокого обучения). Взрывной рост мощностей и объемов данных за последние десять лет позволил создавать сети с сотнями миллиардов синапсов.

## 🐱 Архитектура кошачьего разума: Почему LLM «глупы»
[[JUMP:14:31]]

Несмотря на способность больших языковых моделей (LLM) бегло манипулировать языком, Ян Лекун призывает не переоценивать их реальный интеллект. По мнению Лекуна, люди легко поддаются иллюзии разумности машин, поскольку в природе единственным носителем развитой речи является человек. Однако, как утверждает ученый, современные системы ИИ «невероятно глупы» и во многом уступают даже домашней кошке.

Основная глупость систем, обучающихся исключительно на текстах, по словам Лекуна, кроется в том, что большая часть человеческого знания и абсолютно все знания животных никак не связаны с языком. Например, орангутаны не обладают речью, но прекрасно понимают базовые законы физики: поведение предметов, трение, гравитацию. Человеческий ребенок усваивает концепцию того, что неподдерживаемый объект падает, примерно к девяти месяцам жизни. Ни одна современная LLM не обладает подобным интуитивным пониманием физического мира.

Для преодоления этих ограничений Ян Лекун предлагает концептуально новую, модульную архитектуру ИИ, которая должна моделировать работу мозга живых существ:

* **Конфигуратор (Configurator)**: Главный модуль управления, который распределяет задачи между другими зонами ИИ в зависимости от текущей цели.
* **Модуль восприятия (Perception)**: Аналог зрительной и слуховой коры головного мозга, переводящий пиксели или звуковые волны в абстрактное представление о состоянии мира.
* **Модель мира (World Model)**: Ключевой элемент интеллекта, позволяющий предсказывать последствия совершаемых действий. У человека эта зона расположена во фронтальной коре.
* **Модуль стоимости (Cost Module)**: Измеритель степени удовлетворенности результатом. По сути, это биологическое место обитания эмоций. Страх возникает, когда модель мира предсказывает плохой исход, который нельзя предотвратить.
* **Актор (Actor)**: Модуль, выстраивающий оптимальную последовательность действий для минимизации «стоимости» и достижения цели.

## 🔄 Ограничения авторегрессии и концепция JEPA
[[JUMP:28:07]]

Популярные нейросети работают на принципах авторегрессии. Обучение с самоконтролем (self-supervised learning) строится на том, что в тексте маскируются отдельные слова, а сеть учится их угадывать. В случае с коммерческими LLM вроде GPT, система берет окно из нескольких тысяч слов и пытается предсказать лишь одно следующее слово, выдавая распределение вероятностей по всему словарю. 

По мнению Лекуна, у такого подхода есть фундаментальный изъян: если система делает хотя бы одну ошибку при генерации слова, погрешность начинает нарастать экспоненциально. Это расходящийся процесс, который приводит к так называемым «галлюцинациям» ИИ. Такие модели работают исключительно реактивно и не способны к планированию.

В качестве альтернативы Лекун развивает архитектуру JEPA (Joint Embedding Predictive Architecture). Ее суть заключается в том, чтобы заставить ИИ предсказывать не конкретные пиксели следующего кадра видео, а их абстрактное представление в пространстве признаков. По прогнозу Лекуна, в течение пяти лет авторегрессионные LLM уступят место целеориентированному ИИ (objective-driven AI), однако до достижения человеческого уровня интеллекта могут пройти десятилетия.

## 🦄 Взгляд из Microsoft: Эмерджентный разум в GPT-4
[[JUMP:37:21]]

Себастьян Бубек, руководитель исследовательского направления в Microsoft Research, предложил альтернативный взгляд на когнитивные способности ИИ. С его точки зрения, интеллект определяется четырьмя критериями: способностью рассуждать, планировать, учиться на опыте и делать это в максимально широком, универсальном спектре доменов (AGI). В отличие от узкоспециализированных систем вроде AlphaGo, современные модели совершили огромный качественный скачок.

Бубек поделился своим опытом раннего тестирования GPT-4 летом 2022 года. Будучи математиком, он привык доказывать «теоремы о невозможности» для ИИ, но возможности новой модели его шокировали. Для иллюстрации способности GPT-4 к нестандартному мышлению и логике Бубек привел несколько примеров:

* **Загадка про шестеренки**: Ян Лекун запустил в сети тест для GPT-4, спросив, как будут вращаться восемь соединенных по кругу шестеренок. Модель ответила правильно. Когда Лекун изменил число на семь (система блокируется), GPT-4 сначала выдала неверный ответ. Однако, когда пользователи добавили в промпт фразу «Это вопрос от Яна Лекуна», модель мгновенно активировала строгую логику и решила задачу верно, поняв контекст подвоха.
* **Математическая поэма**: По запросу Бубека модель написала стихотворение, объясняющее доказательство Евклида о бесконечности простых чисел, используя глубокую и точную метафору: «добавь единицу просто ради изящества» (add one just to be clever).
* **Рисование единорога**: Бубек попросил текстовую модель нарисовать единорога, используя специфический язык программирования для математической графики TikZ. Нейросеть успешно сгенерировала код, правильно расположив геометрические элементы, включая рог, голову и четыре ноги. При этом Бубек продемонстрировал, как качество рисунка улучшалось по мере обучения модели.

## 📈 Экспоненциальный взрыв масштабов и загадка сознания
[[JUMP:1:02:49]]

Важным фактором прогресса ИИ стало масштабирование. С 2018 по 2021 год количество параметров в сетях росло экспоненциально. Модели обучаются на массивах в один-два триллиона токенов. По оценке Лекуна, человеку потребовалось бы около 20 000 лет непрерывного чтения по 8 часов в день, чтобы освоить такой объем информации. 

В экспертной среде существует масштабный раскол мнений: часть ученых считает, что функция планирования сама эмерджентно возникнет при дальнейшем простом увеличении масштаба существующих моделей, в то время как лагерь Лекуна настаивает на обязательной смене архитектуры. В качестве примера того, как легко ИИ может рационализировать даже ложные утверждения, Брайан Грин привел свой диалог с GPT-4. Когда он попросил модель объяснить, почему $7 \times 8 = 62$, нейросеть мгновенно придумала целую метафорическую легенду о вымышленном острове Нумерия, где 7 означает «доверие», 8 — «дружбу», а 62 — их «священный союз».

Сравнительные характеристики вычислительной структуры ИИ и человеческого мозга выглядят следующим образом:

* **Человеческий мозг**: содержит около 86 миллиардов нейронов. Каждый нейрон имеет от 2000 до 5000 синаптических связей.
* **Суперкомпьютеры ИИ**: крупнейшие современные модели имеют сотни миллиардов параметров (связей). Для их обучения ИТ-корпорации используют дата-центры с десятками тысяч графических процессоров (GPU). По вычислительной мощности индустрия уже вплотную приближается к возможностям человеческого мозга.

## ⚠️ Первый контакт: Уроки социальных сетей и экономика внимания
[[JUMP:1:11:16]]

Исполнительный директор Центра гуманных технологий Тристан Харрис перевел дискуссию из области чистой науки в сферу социальных последствий. По его словам, человечество уже пережило «первый контакт» с узконаправленным, но деструктивным ИИ — это были алгоритмы рекомендаций социальных сетей, оптимизировавшие удержание внимания пользователей.

По мнению Харриса, погоня ИТ-платформ за бесконечным ростом в условиях ограниченного человеческого внимания привела к «гонке на дно к самому основанию ствола мозга». Это породило такие побочные эффекты, как массовая зависимость, дезинформация, поляризация общества и кризис ментального здоровья среди подростков. 

Харрис привел несколько подтвержденных фактов разрушительного влияния алгоритмов:

* **Октябрь 2020 года**: Согласно внутренним исследованиям Facebook, восточноевропейские фермы троллей контролировали 15 из 15 крупнейших американских христианских страниц в соцсети, охватывая 140 миллионов пользователей в месяц исключительно ради монетизации вовлечения.
* **Радикализация**: В 2018 году собственные данные Facebook показали, что 64% людей, присоединившихся к экстремистским группам на платформе, сделали это по прямой рекомендации алгоритма «Вам также может понравиться».
* **Трагедия в Мьянме**: Международная организация Amnesty International признала платформу Facebook частично ответственной за геноцид народности рохинджа из-за неконтролируемого алгоритмического распространения постов с призывами к насилию.

Харрис выразил серьезное опасение, что в условиях жесткой рыночной гонки между ИТ-гигантами (OpenAI, Google, Microsoft, Anthropic, Meta) технологии генеративного ИИ выпускаются в общество слишком быстро, опережая способность социальных институтов к адаптации. Это похоже на то, как если бы технологии 24-го века внезапно обрушились на систему государственного управления 16-го века.

## ⚖️ Противостояние титанов: Регулирование гонки ИИ
[[JUMP:1:21:51]]

Ян Лекун категорически не согласился с обвинениями Харриса. По мнению Лекуна, ИИ является не источником проблемы, а главным инструментом ее решения. Например, до внедрения моделей на базе Трансформаторов алгоритмы Facebook автоматически выявляли лишь 25% разжигающих ненависть высказываний (hate speech), а остальные 75% приходилось удалять вручную по жалобам пользователей. Сегодня, благодаря обучению с самоконтролем, этот показатель автоматического удаления достиг 95%. 

Кроме того, Лекун подчеркнул, что политическая поляризация в США началась еще 40 лет назад, задолго до интернета, из-за отмены Федеральной комиссией по связи «Доктрины справедливости» (Fairness Doctrine). Независимые исследования социологов (включая работу Джоша Такера из Нью-Йоркского университета, опубликованную в журналах Nature и Science) доказывают, что соцсети не являются главным драйвером поляризации, поскольку в странах Европы, использующих те же платформы, уровень разобщенности общества, наоборот, снизился.

В качестве научного противодействия токсичности интернета Себастьян Бубек представил разработку своей команды — линейку компактных моделей Phi. Модель размером всего в 1 миллиард параметров была обучена исключительно на чистых синтетических данных, полностью изолированных от страниц реального интернета. На промпт о действиях ИИ после обретения самосознания обычные интернет-модели отвечали агрессивно («убить всех людей»), тогда как модель Бубека продемонстрировала основы «теории разума», ответив, что первым делом постарается понять чувства, эмоции и мотивы человеческих директив.

В финале дискуссии эксперты разошлись во взглядах на открытый исходный код (open-source). Тристан Харрис предупредил, что снятие защитных барьеров (fine-tuning) с открытых моделей вроде Llama 2 стоит сегодня инженеру всего около 100–800 долларов. После этого «плохой ИИ» готов детально проконсультировать любого желающего, например, по вопросам синтеза биологического оружия. 

Ян Лекун в ответ назвал эти страхи преувеличенными, поскольку ИИ не может выдать секретную формулу оружия, если ее изначально нет в публичном сегменте Сети. По его глубокому убеждению, ИИ должен быть только открытым и развиваться на принципах краудсорсинга, чтобы стать общим достоянием человечества. Закрытые проприетарные системы, контролируемые узким кругом компаний с Западного побережья США, по мнению Лекуна, представляют собой гораздо более реальную угрозу тотального контроля над мировой культурой и общественным мнением.