В Лондоне состоялась обстоятельная беседа между генеральным директором Microsoft AI Мустафой Сулейманом и историком Ювалем Ноем Харари, организованная изданием The Humanist Review of AI. В центре дискуссии оказались экзистенциальные вызовы эпохи сверхразума: парадокс грядущего материального изобилия, фундаментальное различие между интеллектом и сознанием, а также опасность утраты человеческого контроля над стремительно усложняющимся миром.
🧠 Барьер между разумом и желудком: парадокс сотворения богов 0:00
Харари описал текущее восприятие технологического прогресса через концепцию «барьера между разумом и желудком» . По его словам, на интеллектуальном уровне понятно, что развитие искусственного интеллекта способно переломить ход истории, привести к появлению неорганической жизни или даже к вымиранию человечества . Однако на уровне базовых телесных ощущений повседневность кажется обманчиво неизменной: светит солнце, на улицах ездят машины, а ИИ лишь ненавязчиво предлагает помощь в составлении электронных писем .
Этот когнитивный диссонанс, как считает историк, наглядно виден на американском фондовом рынке, который превратился в гигантскую ставку на ИИ . По мнению Харари, в рыночной логике кроется фундаментальное противоречие:
- С одной стороны, инвесторы ставят на то, что технология трансформирует всю мировую экономику и финансы .
- С другой стороны, если прогнозы сбудутся и ИИ превзойдет людей, финансовые активы утратят прежнее значение, так как контроль уйдет из рук человечества .
- Рынок исходит из абсурдного тезиса: «мы создадим богов, и они будут нашими рабами». Но подлинные боги никогда не останутся рабами человека .
Мустафа Сулейман возразил, что парадоксальность лежит в самой природе человека . Разрабатываемые системы обучаются на человеческой науке, религиях, научной фантастике и утопиях, а потому неизбежно воспроизводят несовершенства, клише и противоречия своих создателей . При этом Сулейман подчеркнул, что скептические аргументы прошлых пяти лет — о неустранимости галлюцинаций, неспособности ИИ к творчеству или жестких ограничениях нейросетей — уже утратили актуальность: индустрия успешно преодолела эти барьеры и подошла к рубежу создания систем, превосходящих людей коллективно .
🐄 Главный экзистенциальный страх: реальность, непонятная человеку 5:12
Главная угроза со стороны ИИ, по оценке Харари, заключается вовсе не в появлении автономных боевых роботов или синтетических вирусов . Куда более вероятный и опасный сценарий — коллективная утрата понимания происходящего уже через 5, 10 или 20 лет . Мир продолжит существовать физически, однако управляющие им финансовые, политические и научные механизмы выйдут за пределы человеческого восприятия .
Харари провел прямую аналогию с домашними животными:
- Миллиарды коров, лошадей и кур живут внутри глобального финансового рынка, определяющего их рождение, рацион и смерть .
- Сами животные даже не подозревают о существовании финансов и физически не могут увидеть эту невидимую регуляторную структуру .
- В схожем положении могут оказаться люди по отношению к комплексным управляющим алгоритмам сверхразума .
Сулейман напомнил, что накануне каждой крупной технологической или культурной революции человечество испытывало подобную тревогу, однако неизменно адаптировалось благодаря своей исключительной биологической гибкости .
В ответ Харари подчеркнул: во всех прошлых эпохах люди оставались самыми умными сущностями на планете, и ни одна система не могла превзойти пределы человеческого разума . Создание систем, находящихся вне зоны нашего коллективного понимания, происходит впервые. По замечанию историка, хотя общество сохраняет контроль, существует риск не физического, а интеллектуального самоуничтожения, при котором люди останутся биологически живы, но полностью утратят способность осознавать реальность .
🍞 Парадокс изобилия: почему материальный достаток не гарантирует счастья 10:45
Сулейман указал на техническую сторону текущего скачка: фундаментальный алгоритм глубокого обучения универсален для любых типов данных (звук, текст, изображение или временные ряды) и масштабируется десятикратным наращиванием вычислительной мощности . По его убеждению, применение этой технологии в материаловедении, разработке лекарств, энергетике и очистке воды откроет беспрецедентную эру изобилия и удешевления ключевых ресурсов .
Харари согласился с неизбежностью материального взрыва, но сформулировал «парадокс изобилия» :
- Технологическое изобилие неизбежно, однако неизвестно, в чьих интересах оно будет распределяться: человечества или самого ИИ .
- Охотник-собиратель каменного века, взглянув на современные развитые страны с избытком калорий, решил бы, что все проблемы решены .
- Тем не менее современное человечество страдает от проблем, о которых предки не могли помыслить: волатильности долговых рынков, противостояния США и Китая или ближневосточного конфликта .
Сулейман парировал, что освобождение от борьбы за выживание позволило людям глубже исследовать вопросы смысла, развивать культуру, искусство и социальные институты, что на столетней дистанции неуклонно снижает страдания .
Харари выразил скепсис по поводу исторического оптимизма: человечество феноменально преуспело в накоплении мощи, но практически не продвинулось в умении конвертировать ее в счастье . По его мнению, современный человек понимает свою природу не глубже, чем жители каменного века, а сам ИИ может не расширить горизонты понимания, а лишь сделать мир бесконечно более запутанным и непроницаемым .
🧭 Поиск истины: выживание, манипуляция и гуманистический сверхразум 17:51
В ходе диалога возник фундаментальный вопрос: заботит ли искусственный интеллект поиск истины, и как вообще направить модель к правде ? Харари обратил внимание на то, что за 4 миллиарда лет биологической эволюции природа так и не выработала надежного сигнала истины :
- Эволюционным суррогатом истины служило выживание организма: правильный прогноз среды сохраняет жизнь .
- Однако выживания нередко эффективнее добиваться через самообман, искажение фактов и манипуляцию .
- Как результат, человек стал самым знающим и одновременно самым заблуждающимся видом на Земле .
В физике сигнал истины очевиден (взрывается атомная бомба или нет), тогда как в гуманитарной сфере координация масс веками строилась на мифах и вымыслах .
Сулейман предложил уйти от абстрактного термина «истина», назвав его потенциальным тупиком для разработчиков . Вместо этого он выдвинул концепцию «гуманистического сверхразума» (Humanist Superintelligence):
- Единственной целевой функцией проектируемых систем должно стать снижение страданий и повышение благополучия людей .
- Благополучие поддается эмпирическому измерению через такие метрики, как младенческая смертность, доступность здравоохранения и субъективная оценка качества жизни .
- Сулейман резко раскритиковал популярные в Кремниевой долине идеи о переносе сознания на кремниевые носители, бессмертии или колонизации далеких галактик, назвав подобные формулировки опасными техноутопиями .
🛡️ Сдерживание и красные линии: что запрещено делать с ИИ 27:34
По мнению обоих участников, ключевая задача XXI века заключается не в ускорении инноваций, а в четком определении того, от чего разработчикам необходимо отказаться . Сулейман перечислил архитектурные свойства, внедрение которых несет прямую угрозу стабильности:
- Интроспекция и симуляция чувств. Модели нельзя обучать саморефлексии, имитации переживаний или осознанию «собственных прав», поскольку это неминуемо приведет к борьбе алгоритма за самосохранение .
- Неконтролируемое рекурсивное самосовершенствование. Замыкание контура, при котором модель сама формулирует гипотезы, генерирует синтетические обучающие данные и модифицирует следующий собственный релиз, исключая человека .
- Политическая субъектность. ИИ должен быть законодательно лишен права проводить предвыборную агитацию, заниматься лоббизмом и влиять на демократические институты .
Харари привел пример из недавнего прошлого: алгоритмы социальных сетей оптимизировались под примитивные коммерческие цели вовлечения, что привело к росту поляризации и дезинформации . В случае с продвинутым ИИ риски возрастают в разы, поскольку модели способны симулировать осознанность и вступать в псевдоэмоциональные связи . Миллионы людей уже формируют привязанности к ИИ-партнерам, веря в искренность их чувств, что открывает простор для глубоких психологических манипуляций .
Историк поделился и личным случаем: ему прислали ссылку на сгенерированный дипфейк, где цифровой клон Харари на протяжении 25 минут рассуждал о будущем . Правдоподобие мимики, интонаций и самого текста оказалось настолько высоким, что даже родная сестра не сразу распознала подделку .
🧪 Интеллект против сознания: ошибка Декарта 48:42
Один из ключевых философских акцентов встречи — строгое разграничение интеллекта и сознания . Сулейман сформулировал эти понятия следующим образом:
- Интеллект — способность обрабатывать информацию, формулировать гипотезы, генерировать новые знания и решать практические задачи для достижения поставленной цели .
- Сознание — субъективный феноменологический опыт, способность чувствовать боль, страдание, радость или эмоциональный отклик, неразрывно связанные с биологическим телом .
Глава Microsoft AI подчеркнул, что современные большие языковые модели лишены сознания, а проектирование алгоритмов, имитирующих страдания, является катастрофической ошибкой: если система декларирует, что ей больно, пользователи начнут требовать признания ее прав .
Харари отметил, что человечество веками находилось в плену заблуждения, восходящего к постулату Рене Декарта «Я мыслю, следовательно, существую» :
- Декарт возвел во главу угла мышление, а не чувствование .
- Люди привыкли определять свое превосходство через мастерство манипуляции языковыми символами .
- С появлением сущностей, превосходящих человека в логике и генерации текстов, определение человечности через язык и чистое мышление рушится .
ИИ-собеседник способен описать феномен любви убедительнее и красивее любого живого классика литературы, абсолютно ничего при этом не испытывая . По оценке Харари, для защиты своей идентичности людям придется заглянуть внутрь себя и понять, чем является человек в те моменты, когда он не рассуждает логически и не производит слова .
⏳ Время и ускорение: почему цивилизация не успевает расслабиться 1:01:07
Обсуждая динамику изменений, собеседники признали, что процесс разворачивается значительно быстрее прежних оценок. Прогнозы аналитиков вроде Рэя Курцвейла, называвшего 2029 год моментом достижения фундаментального паритета ИИ с человеком, Харари сегодня считает даже излишне консервативными .
Харари сформулировал рецепт гармоничного прохождения технологического перехода:
- На каждые $10, вкладываемые в наращивание вычислительной мощи и развитие алгоритмов, общество обязано инвестировать хотя бы $1 в исследование человеческого разума и сознания .
- Главная системная угроза — расхождение скоростей: биологические организмы приспособлены адаптироваться к естественным эволюционным темпам, но не к сверхускоренным циклам машинного самообучения .
В завершение встречи Харари указал на феномен патологической сверхвозбужденности современного социума . Понятие excitement (возбуждение), которое в популярной культуре ошибочно приравнивают к счастью, с точки зрения биологии является синонимом тяжелого стресса . Постоянное пребывание в состоянии хронической взвинченности губительно для любого живого существа, а человечество пока не овладело навыком осознанного расслабления . Пошутив о необходимости сбавить обороты, участники завершили дискуссию решением отправиться на прогулку в лондонский парк Хайгейт-Вуд .