Гэри Маркус: «Сэм Альтман искренне боится вреда человечеству»

Prof G 3 тыс. 22 мин 7 мин 22.05.2023
Главное

Недавние слушания в Сенате США по вопросам искусственного интеллекта стали историческим моментом, объединившим технологических лидеров и жестких критиков индустрии перед лицом экзистенциальных рисков. Профессор Нью-Йоркского университета и основатель Geometric Intelligence Гэри Маркус поделился своими закулисными впечатлениями от совместного выступления с главой OpenAI Сэмом Альтманом. В интервью для канала Prof G аналитик Миа Сильверио обсудила с ученым необходимость создания аналога FDA для нейросетей, искренность страхов Кремниевой долины и размытие этической миссии современных технологических гигантов.

🏛️ Исторический момент в Вашингтоне: атмосфера на слушаниях 0:00

Опыт выступления в Конгрессе США оставил у Гэри Маркуса глубокое впечатление, подчеркнув историческую веху развития технологий, которую отцы-основатели государства никак не могли предвидеть. Зал заседаний оказался меньше, чем его обычно показывают в голливудских фильмах, однако физическое расположение сенаторов на возвышении придавало процессу особую торжественность.

Сенаторы Ричард Блументал и Джош Хоули продемонстрировали редкое межпартийное единодушие. По наблюдениям Гэри Маркуса, атмосфера в зале была пропитана следующими факторами:

Почти все присутствующие сошлись во мнении, что индустрии необходимо жесткое регулирование. Профессор Маркус активно продвигал идею создания не просто национального, а международного агентства по контролю за искусственным интеллектом.

😨 Чего на самом деле боится Сэм Альтман? 3:17

Находясь на расстоянии вытянутой руки от генерального директора OpenAI Сэма Альтмана, Гэри Маркус имел уникальную возможность считывать его невербальные сигналы и оценивать моменты искренности или нервозности. Ключевой исторический момент наступил, когда профессор фактически заставил Альтмана раскрыть свои истинные опасения.

Во время допроса сенатор Блументал спросил Альтмана о его главных страхах, предположив, что они связаны с массовой потерей рабочих мест. Глава OpenAI попытался уклониться от прямого ответа, приведя классическую аналогию: исчезновение извозчиков привело к появлению множества водителей такси, то есть рынок труда просто трансформируется. Наблюдая за этой уклончивостью, Гэри Маркус вмешался и порекомендовал сенаторам спросить Альтмана о том, чего он боится на самом деле, имея в виду экзистенциальные риски для планеты.

Когда Блументал повторил вопрос с подачи Маркуса, Сэм Альтман признал, что его величайший страх — это нанесение значительного вреда всему человечеству. Гэри Маркус утверждает, что по напряжению мышц на шее Альтмана было отчетливо видно: в этот момент бизнесмен говорил пугающую его самого правду, одновременно пытаясь балансировать между искренностью и корпоративным нежеланием сеять панику среди инвесторов и пользователей.

🕸️ Регуляторный захват или искренний страх: спор с профессором Гэллоуэем 5:33

После слушаний в Кремниевой долине и профильных медиа разгорелась дискуссия о так называемом «регуляторном захвате». Профессор Скотт Гэллоуэй опубликовал серию твитов, заявив, что «мы уже видели это кино раньше», намекая на Марка Цукерберга и других руководителей соцсетей, которые публично призывали к регулированию, но за кулисами саботировали его. По мнению Гэллоуэя, крупные игроки используют призывы к лицензированию лишь для того, чтобы зацементировать монополию и отсечь молодых конкурентов.

Гэри Маркус не согласен с оценкой Гэллоуэя в отношении главы OpenAI. Опираясь на личную предысторию непростых и порой жестких дискуссий с Альтманом в Twitter, ученый пришел к выводу, что намерения создателя ChatGPT были искренними. Перед началом заседаний Альтман неожиданно подошел к Маркусу и лично поддержал его концепцию создания Международного агентства по ИИ. Тот факт, что Альтман повторил эту поддержку публично перед сенаторами, упомянув имя своего давнего критика, убедил Маркуса в отсутствии чистой корпоративной игры со стороны коллеги. Тем не менее, Маркус признает, что Альтман остается корпоративным лидером и смотрит на текущее состояние ИИ с избыточным, по мнению профессора, оптимизмом.

🛡️ Гибкое управление вместо жестких законов: уроки GDPR 7:44

Обсуждая механизмы контроля, собеседники затронули европейский регламент GDPR. На потребительском уровне он часто воспринимается как неэффективный раздражитель, добавляющий лишний клик согласия при входе на сайты. Однако Маркус напоминает, что именно GDPR позволил временно заблокировать ChatGPT в Италии. И хотя OpenAI быстро возобновила работу, изменив правила пользования, этот прецедент показал: законы должны развиваться итеративно.

Основная сложность, по мнению Гэри Маркуса, заключается в неспособности классического парламента оперативно реагировать на технологический прогресс. Конгресс создан для принятия фундаментальных, долговечных законов, но он физически не может выпускать новые акты под релиз условной GPT-5. Ученый выделил несколько ключевых принципов эффективного надзора:

💊 Клинические испытания для ИИ: концепция «FDA для нейросетей» 11:52

Одной из главных инициатив Гэри Маркуса стало внедрение системы, напоминающей фазовые клинические испытания лекарств. По его мнению, перед тем как продукт получит разрешение на массовое развертывание, разработчики обязаны научно доказать сенаторам и регуляторам, что его польза перевешивает потенциальные риски.

Ученый видит этическую проблему в текущей практике ИИ-гигантов:

«Одно дело — тестировать сырой продукт на тысяче добровольцев, давших информированное согласие. Совсем другое — выкатывать систему на 100 миллионов пользователей, превращая все общество в подопытных кроликов без их ведома. Вы не давали согласия на жизнь в обществе, где ChatGPT может масштабно формировать и менять политические взгляды людей, но это уже происходит.»

Сэм Альтман поддерживает идею государственного лицензирования крупных моделей, однако, по словам Маркуса, обходит стороной вопрос независимого внешнего аудита, предпочитая внутренние проверки. И хотя в манифесте OpenAI о создании сильного ИИ (AGI) упоминалась гипотетическая необходимость внешнего контроля в будущем, Маркус убежден, что это время уже наступило.

🔬 Проблема закрытости OpenAI и критика научности GPT-4 14:30

Как исследователь с 30-летним стажем, Гэри Маркус подверг жесткой критике официальный технический отчет по GPT-4, назвав его псевдонаучным. Документ оформлен как академическая статья, но в нем полностью отсутствуют базовые научные контроли.

В качестве примера Маркус привел громкое заявление OpenAI о том, что GPT-4 успешно сдает сложнейший экзамен в юридическую школу (LSAT). Создатели утверждают, что проверили данные на предмет «заражения» (contamination) и исключили прямое копирование вопросов теста в обучающую выборку. Однако Маркус указывает на методологическую ошибку:

Проверить это независимо научное сообщество не может, поскольку OpenAI полностью закрыла архитектуру и данные gpt4. Профессор сослался на свежее интервью Илона Маска, напомнившего, что компания создавалась как открытая (Open AI), но превратилась в коммерческую структуру с непрозрачными механизмами. Маркус уклонился от ответа на вопрос, было ли безответственным выпускать GPT-4 без внешнего аудита, но назвал этот релиз и интеграцию Bing от Microsoft «генеральной репетицией» перед выходом куда более опасных и автономных систем.

🏰 Отсутствие «рва» и конкуренция с Google и Open Source 18:10

С технической точки зрения OpenAI не обладает непреодолимым лидерством. Маркус упомянул утекший внутренний документ Google под заголовком «No Moat» («Рва нет»), в котором утверждается, что ни Google, ни OpenAI не имеют защитного технологического барьера. Сообщество разработчиков программного обеспечения с открытым исходным кодом (Open Source) стремительно сокращает разрыв.

Преимущество OpenAI заключается в накопленной инфраструктуре, собранных массивах данных и, что важнее, в уникальной базе человеческих отзывов (RLHF). Ценность этих данных высока, хотя ее и трудно измерить точно. Тем не менее, лидерство компании может испариться. По словам Маркуса, недавние исследования показывают, что при правильном подходе к обучению моделям может потребоваться всего 1% от текущих объемов данных. Человеческие дети учатся на несопоставимо меньшем количестве примеров и рассуждают гораздо лучше машин. Любой прорыв в алгоритмах рассуждения мгновенно разрушит текущую иерархию рынка.

В завершение профессор выразил сожаление по поводу изменения структуры OpenAI: начав как некоммерческий фонд для блага человечества, организация трансформировалась в коммерческую компанию с ограничением прибыли под сильным влиянием Microsoft. По мнению Гэри Маркуса, сделка с Microsoft привела к деструктивной гонке, вынудив Google в спешке выбрасывать на рынок сырые продукты ради конкуренции, что прямо противоречит изначальной гуманитарной миссии OpenAI.

💬 Цитаты

«Вы не давали согласия на жизнь в обществе, где ChatGPT может масштабно формировать и менять политические взгляды людей, но это уже происходит.»

Гэри Маркус 13:26

«Мы имеем дело с быстроразвивающимся явлением, и Конгресс просто не приспособлен для оперативного контроля.»

Гэри Маркус 09:54
👥 Спикеры
🔗 Упомянутые сайты и проекты
📖 Термины
Регуляторный захват
Ситуация, при которой создаваемые государственные правила и институты начинают действовать в коммерческих интересах крупнейших корпораций, защищая их от конкурентов.
Заражение данных (Contamination)
Проблема в машинном обучении, когда экзаменационные или проверочные задания случайно попадают в массив данных, на котором обучается модель, искажая результаты тестов.
Синонимия в LLM
Способность больших языковых моделей распознавать схожие по смыслу конструкции и перефразированный текст без прямого совпадения символов.
📊 Цифры
⚖️ Другая сторона
Искусственный интеллект Гэри Маркус Сэм Альтман OpenAI GPT-4 Google