# Гэри Маркус: «Индустрия ИИ — это огромный эксперимент, который терпит крах из-за слепой веры в масштабирование»

Источник: https://www.youtube.com/watch?v=91SK90SahHc
Канал: Machine Learning Street Talk
Опубликовано: 17.08.2024

---

Гэри Маркус, известный ученый в области когнитивных наук и критик современных подходов к искусственному интеллекту, выступил на конференции по AGI с программной речью. В своем докладе он проанализировал прогресс индустрии за последние три года, придя к выводу, что, несмотря на триллионные инвестиции, фундаментальные проблемы понимания и надежности ИИ остаются нерешенными.

## 🔄 Ретроспектива: три года в одной точке
[[JUMP:05:35]]

Гэри Маркус начал свое выступление на Machine Learning Street Talk с обращения к своему докладу 2021 года. Он отметил, что три года назад термин «базовые модели» (Foundation Models) только входил в обиход после публикации 150-страничной работы Стэнфордского университета [06:41]. Тогда Маркус утверждал, что эти системы нельзя называть «фундаментом», так как на них невозможно положиться из-за отсутствия здравого смысла и логики [07:34].

По мнению эксперта, за прошедшее время ситуация не изменилась качественно:

*   Системы все еще не понимают отрицание (эксперименты Элисон Эттингер с моделью BERT показали, что ИИ не видит разницы между «малиновка — это птица» и «малиновка — это НЕ птица») [08:25].
*   Глубокое обучение (Deep Learning) по-прежнему относится к количеству слоев нейросети, а не к глубине понимания [08:53].
*   Индустрия подменила поиск AGI (общего искусственного интеллекта) концепцией «масштабирование — это всё, что вам нужно» (Scaling is all you need) [09:42].

Маркус подчеркивает, что обещания лидеров мнений, таких как Джефф Хинтон (о замене радиологов) или Илон Маск (о полном автопилоте к 2020 году), оказались несостоятельными [10:19]. Несмотря на сотни стартапов, ни один радиолог не был полностью заменен ИИ, а дефицит специалистов в этой области только вырос [21:20].

## 📉 Тупик масштабирования и «лучшая графика»
[[JUMP:14:05]]

Гэри Маркус утверждает, что современные модели — это лишь «те же проблемы, но с лучшей графикой» [14:05]. Он привел ряд примеров, демонстрирующих отсутствие реального понимания мира у топовых моделей (GPT-4, Grok и др.):

1.  **Проблема отрицания:** При запросе «нарисуй пляж без слона» модели продолжают рисовать слонов, так как реагируют на частотность токенов, а не на семантику запрета [14:58].
2.  **Географический абсурд:** Карта достопримечательностей США от ChatGPT может поместить Гранд-Каньон в произвольные штаты, а Флориду — в центр страны [15:50].
3.  **Временная слепота:** Модель Grok от Илона Маска при запросе изображения нынешнего премьер-министра Италии выдает портреты бывших лидеров США или случайных людей, хотя в текстовом режиме знает имя Джорджи Мелони [18:40].

По мнению Маркуса, мы наблюдаем фазу убывающей отдачи (diminishing returns) [22:40]. GPT-4 была обучена еще в августе 2022 года, и за прошедшие два года ни одна модель (включая Claude и Gemini) не показала значительного качественного скачка [23:45]. Эксперт отмечает, что график прогресса, который раньше казался экспоненциальным, заметно выравнивается [25:16].

Причины замедления, по словам Маркуса:

*   **Дефицит данных:** ИИ уже поглотил значительную часть интернета, и увеличивать объем обучающей выборки в 100 раз больше не за счет чего [26:09].
*   **Архитектурные ограничения:** Трансформеры не имеют внутренних моделей мира и не способны к абстрактному обобщению вне тренировочного пространства [26:21].

## 🏗️ Путь к надежному ИИ: гибридные системы
[[JUMP:31:44]]

Гэри Маркус настаивает на необходимости перехода к нейросимволическому ИИ (Neuro-symbolic AI). Он утверждает, что глубокое обучение хорошо справляется с восприятием, но беспомощно в вопросах планирования, рассуждения и аналогии [28:37].

Основные тезисы Маркуса о необходимых изменениях:

*   **Гибридизация:** Объединение способности нейросетей к обучению на данных с жесткими символическими правилами классического ИИ [29:45].
*   **Врожденные знания:** Системы должны иметь базовое понимание пространства, времени и причинности (как предлагал Иммануил Кант) [37:51].
*   **Когнитивные модели:** ИИ должен оперировать сущностями и их отношениями (World Models), а не просто предсказывать следующий вероятный токен [33:15].

В качестве успешных примеров гибридных систем ученый привел AlphaFold и AlphaGeometry от DeepMind, которые встраивают доменные знания в архитектуру [32:51].

## ⚠️ Этический упадок и риски Кремниевой долины
[[JUMP:39:22]]

Значительную часть доклада Гэри Маркус посвятил «моральному упадку Кремниевой долины» [39:22]. Он выразил глубокое недоверие к руководству ведущих ИИ-компаний, особенно к Сэму Альтману (OpenAI).

Ключевые претензии Маркуса:

*   **Закрытость:** Компания OpenAI, вопреки названию, скрывает данные, на которых обучаются модели, используя расплывчатые формулировки о «публичных и частных источниках» [46:44].
*   **Риски наблюдения:** Маркус опасается, что OpenAI может превратиться в крупнейшую в мире систему наблюдения (Big Brother), учитывая их доступ к данным пользователей и камерам [01:16].
*   **Плагиат:** Модели обучаются на защищенном авторским правом контенте, что Маркус называет нарушением прав художников и творцов [42:10].

По мнению гостя, современный генеративный ИИ — это «генеральная репетиция» перед созданием AGI, и сейчас эта репетиция проваливается с точки зрения безопасности и ответственности [43:17].

## 🏛️ Регулирование и «FDA для алгоритмов»
[[JUMP:45:40]]

Для предотвращения катастрофических последствий Гэри Маркус предлагает внедрить жесткое государственное регулирование, аналогичное контролю в авиации или медицине.

Предложенные меры:

1.  **Процесс одобрения типа FDA:** Перед развертыванием модели на миллионы пользователей компания должна доказать, что выгоды превышают риски [48:28].
2.  **Пострелизный аудит:** Независимые ученые должны иметь доступ к данным, чтобы проверять системы на наличие скрытого расизма в алгоритмах найма или других форм дискриминации [49:19].
3.  **Многоуровневый надзор:** Регулирование дизайна, тестирования и обслуживания ИИ-систем [50:38].
4.  **Глобальные агентства:** Создание национальных и международных органов по надзору за ИИ [51:44].

Маркус предостерегает от «регуляторного захвата» (regulatory capture), когда крупные корпорации сами пишут правила для себя, отсекая мелких конкурентов и игнорируя интересы общества [51:19].

## ❄️ Грядет ли новая «зима ИИ»?
[[JUMP:55:42]]

В ходе дискуссии с ведущим и Беном Гертцелем возник вопрос о неизбежности лопания «пузыря ИИ». Маркус считает, что индустрия близка к критической точке из-за несоответствия затрат и доходов.

Экономические факторы риска:

*   **Огромные убытки:** Операционный убыток OpenAI в прошлом году составил около 5 млрд долларов [01:00:21].
*   **Спекуляции VC:** Венчурные капиталисты часто мотивированы комиссиями за управление (модель «2 и 20»), что заставляет их инвестировать в переоцененные, но «хайповые» проекты [58:07].
*   **Проблема «Вилли Койота»:** Индустрия уже выбежала за край обрыва (затраты на чипы в 50 млрд долларов не окупаются выручкой), но пока просто не посмотрела вниз [01:00:34].

Бен Гертцель выразил альтернативную точку зрения, предположив, что «зимы» не будет, так как вертикальные рыночные приложения (в биологии, финансах, музыке) уже приносят пользу и будут поддерживать инвестиционный поток, пока AGI-лаборатории готовят новые демо-версии [01:08:35]. Маркус, в свою очередь, парировал, что если узкие приложения принесут миллионы, а инвесторы ожидали триллионы, «вайб» рынка все равно может привести к коллапсу [01:09:55].

В завершение Гэри Маркус призвал научное сообщество перестать фокусироваться только на одной архитектуре (трансформерах) и вернуться к междисциплинарным исследованиям, включающим когнитивную психологию и лингвистику [1:03:56].