# Педро Домингос: «Истинная угроза ИИ — его несовершенство»

Источник: https://www.youtube.com/watch?v=qzIPeScjBv8
Канал: Eye on AI
Опубликовано: 29.09.2024

---

В эпоху бурного развития генеративных моделей общество все чаще задается вопросами о политическом и социальном влиянии технологий. Известный исследователь искусственного интеллекта и профессор Вашингтонского университета Педро Домингос в беседе с ведущим Крейгом Смитом обсуждает свою новую сатирическую книгу «2040» и делится скептическим взглядом на популярные сценарии гибели человечества. В центре дискуссии на канале Eye on AI — реальные угрозы несовершенных алгоритмов, перспективы «прямой демократии» с помощью персональных ИИ-агентов и научные тупики современных языковых моделей.

## 🤖 Истинные угрозы ИИ: Почему Терминатор не придет
[[JUMP:03:35]]

Роман Педро Домингоса «2040: Сатира на Кремниевую долину» задумывался как преувеличение текущих технологических трендов до абсурда [03:50]. Однако, по словам автора, многие описанные в книге события начинают сбываться гораздо быстрее, чем ожидалось [04:20]. Центральным персонажем сатиры выступает PresiBot — кандидат в президенты на базе искусственного интеллекта, напоминающий запущенную в политику модель ChatGPT [04:46]. 

Через эту сатиру Домингос стремится показать, что общество опасается не тех угроз [04:32]. По мнению профессора, реальную опасность представляет не восстание злых машин в стиле «Терминатора», а банальное несовершенство систем [05:04]. ИИ совершает ошибки, галлюцинирует, содержит баги и требует постоянной отладки [05:04]. Ситуация усугубляется тем, что создающие и контролирующие эти системы люди сами полны недостатков, а их конфликты и ошибки накладываются на несовершенство алгоритмов, что и приводит к масштабным сбоям [05:20].

В споре о безопасности ИИ между первопроходцами глубокого обучения Джеффом Хинтоном и Яном Лекуном Домингос твердо стоит на стороне последнего [05:51, 06:04]. Он выражает скепсис относительно авторитета Хинтона в практических вопросах [06:04]. По мнению Домингоса, Хинтон совершает две важные ошибки [06:36]:

1.  Суперинтеллект вовсе не находится на пороге создания, как полагают алармисты [06:36, 06:53].
2.  Сверхразум не несет в себе экзистенциальной угрозы для выживания человечества [06:53].

Домингос утверждает, что люди ошибочно проецируют на компьютеры человеческие качества — волю к власти, амбиции, эмоции и сознание [07:22]. ИИ не обладает этими свойствами и не обретет их, если разработчики целенаправленно их туда не заложат [07:22]. Профессор убежден, что искусственный интеллект должен развиваться как продолжение человеческого разума под нашим полным контролем [07:35]. Ведущий Крейг Смит соглашается с этим мнением, добавляя, что физическое воплощение ИИ в робототехнике все еще сильно отстает от софтверной части, и до появления способных угрожать человеку автономных роботов пройдут десятилетия [08:27, 08:42].

## 🌆 Контрасты Кремниевой долины: Утопия против дистопии
[[JUMP:10:36]]

Крейг Смит, живший некоторое время в районе залива Сан-Франциско, обращает внимание на глубокий контраст между невероятным богатством технологических гигантов и деградацией городской среды [10:58]. Ведущий выражает недоумение, почему миллиардеры вроде Илона Маска или Джеффа Безоса не могут решить проблему бездомности, выделив на это малую долю своего состояния [11:18, 11:34].

Педро Домингос подтверждает, что этот поразительный контраст лег в основу его книги [11:34]. В современном Сан-Франциско беспилотные автомобили ездят по улицам, где прямо на тротуарах лежат бездомные и горы мусора, что делает реальность более мрачной, чем классический киберпанк Уильяма Гибсона [12:03]. В романе Домингоса описана гигантская корпорация Happinet (карикатура на Salesforce) с высочайшей башней в Сан-Франциско, под которой расположен огромный дата-центр [12:31, 13:14]. Главный герой романа обнаруживает, что этот теплый подземный центр заполнен сквоттерами-бездомными, прячущимися от камер с помощью роботов [13:28].

При этом Домингос считает наивным представление о том, что проблему бездомности можно решить простым выделением денег [14:04]. На его взгляд, это политическая, а не техническая проблема [14:35]. Профессор высмеивает веру айтишников в «технологический оптимизм», выраженную в предвыборном лозунге PresiBot «Оптимизируй Америку!» [14:48]. В свою очередь, Смит ссылается на успешный опыт программы «Жилье прежде всего» (Housing First), разработанной Сэмом Цемберисом [15:16], подчеркивая, что главной преградой для ее реализации в крупных городах становится отсутствие координации между институтами и политическая поляризация общества [15:49, 16:05].

## 🏛️ Демократия 2.0: Может ли ИИ заменить политиков?
[[JUMP:17:30]]

С развитием новых рассуждающих моделей (таких как проект Q*, Strawberry или GPT-5) способность ИИ принимать решения становится реальностью [18:11]. Домингос напоминает, что принятие решений — это фундаментальная задача ИИ с 1980-х годов [19:23, 19:40]. Ключевое отличие ИИ от обычной программы заключается в том, что он принимает решения самостоятельно, ориентируясь на заложенные разработчиком целевые функции [20:09, 20:22].

Обсуждая концепцию «двигателя истины» (truth engine), собеседники сходятся во мнении, что ИИ не должен быть абсолютным арбитром в спорах, так как истина часто субъективна [21:55, 22:53]. Однако Домингос считает, что ИИ может стать мощным инструментом приближения к истине благодаря способности анализировать колоссальные объемы данных [23:22]. На данный момент генеративный ИИ, напротив, отдаляет нас от нее, поскольку современные большие языковые модели (LLM) не имеют понятия об объективной правде и лишь генерируют вероятностно подходящий текст, чтобы угодить пользователю [24:36, 24:50].

В романе Домингоса описывается эволюция ИИ-кандидата [27:30]:

*   Версия 1.0 — аналог статического ChatGPT, обучающийся на прошлых, быстро устаревающих данных [27:46].
*   Версия 2.0 — краудсорсинговый ИИ, который в реальном времени собирает мнения миллионов людей и вырабатывает консенсус по текущей ситуации [28:12, 28:43].

Домингос предлагает футуристический сценарий реформы демократии: вместо 400 конгрессменов решения могут принимать 300 миллионов персональных ИИ-моделей, представляющих каждого гражданина [34:28]. По мнению профессора, цифровая копия человека сможет отстаивать его интересы эффективнее любого депутата, так как ИИ лишен когнических ограничений и конфликта интересов [34:45]. В качестве примера неэффективности традиционного голосования Домингос приводит Brexit, отмечая, что умный ИИ-помощник мог бы заранее просчитать последствия выхода Великобритании из ЕС и предупредить избирателей о нереалистичности их ожиданий [32:57, 33:32, 33:44].

## 🛞 Как «научиться водить» искусственный интеллект
[[JUMP:35:49]]

Крейг Смит отмечает, что общественное доверие к ИИ сейчас находится на низком уровне из-за частых сбоев в работе систем и нагнетания страха в медиа [35:49]. Многие люди не осознают, насколько глубоко ИИ уже проник в их жизнь через рекомендательные алгоритмы Amazon, социальных сетей и поисковых систем [37:41, 38:16].

Домингос использует метафору автомобиля [39:31]. По его мнению, ИИ сегодня похож на машину без руля, которая подъезжает к дому и предлагает человеку сесть внутрь [39:31]. Чтобы вернуть контроль, общество должно [39:48]:

1.  Потребовать вернуть руль и педали управления ИИ (то есть получить доступ к настройке целевой функции алгоритма).
2.  Научиться водить этот технологический транспорт.

Профессор подчеркивает, что целевая функция (метрика оптимизации) не должна задаваться исключительно корпорациями; часть параметров должна определяться законом ради общественного блага, а ключевой контроль должен оставаться за пользователем [41:28, 41:43, 41:58]. Тот, кто научится использовать ИИ в работе и повседневной жизни, получит власть, а те, кто откажется от технологий, окажутся на обочине прогресса [42:24, 43:20].

Домингос также выражает серьезную тревогу по поводу попыток крупных корпораций (в частности, Google) скорректировать модели машинного обучения так, чтобы они показывали мир не таким, какой он есть, а таким, каким он «должен быть» с точки зрения корпоративной этики (например, искусственно выравнивая гендерный баланс в профессиях при поисковой выдаче) [45:09, 45:27, 45:40]. Профессор называет это созданием «оруэлловского мира» на базе ИИ и призывает бороться за то, чтобы ИИ отражал объективную реальность, а не идеологические конструкты [45:55, 46:09].

## 🔬 Будущее алгоритмов: За пределами трансформеров
[[JUMP:47:43]]

Сейчас Педро Домингос сосредоточен на поиске новых алгоритмов обучения, которые помогут создать надежный ИИ, не склонный к галлюцинациям [47:43]. В рамках концепции, описанной в его книге «Главный алгоритм», ученый работает над глубокой интеграцией символьного ИИ (способного к логическому рассуждению) и нейронных сетей (отлично распознающих паттерны, но не умеющих логически мыслить) [48:02, 48:16].

Профессор критически оценивает шансы OpenAI создать полноценный сильный ИИ (AGI) [49:33]. По мнению Домингоса, в компании преобладает хакерская культура, предполагающая, что фундаментальные научные проблемы ИИ можно решить простым масштабированием и доработкой трансформеров [49:50, 50:07]. Домингос напоминает, что даже Сэм Альтман ранее признавал ограниченность архитектуры трансформеров [50:23]. С точки зрения гостя, лаборатория DeepMind выглядит гораздо сильнее OpenAI с научной точки зрения [50:36]. При этом профессор подчеркивает, что ключевые долгосрочные прорывы в сфере ИИ по-прежнему совершаются в университетах, а не в корпоративных лабораториях Google, Meta или Microsoft, получающих все внимание прессы [50:53].

Домингос также выражает сомнения в успехе стартапа Keen Джона Кармака и Ричарда Саттона, пытающихся прийти к AGI через обучение с подкреплением (Reinforcement Learning) [51:27, 51:42]. Он указывает на историческую проблему этого подхода — разреженность наград [53:33, 53:49]:

*   Если награда частая, то обучение с подкреплением сводится к более простому обучению с учителем (как это произошло с методом RLHF при настройке чат-ботов) [54:05, 54:21].
*   Если награда редкая (например, победа в игре через 100 ходов), алгоритмы до сих пор работают неэффективно [54:39].

В завершение дискуссии Домингос оспаривает «горький урок» Ричарда Саттона о том, что для прогресса ИИ важны лишь масштабирование данных и вычислительных мощностей [54:39, 54:54]. По мнению профессора, масштабирование — лишь финальный штрих [55:09]. Ему предшествовали десятилетия фундаментальной научной работы: изобретение GPU, векторных представлений (embeddings) и алгоритма обратного распространения ошибки [55:26]. Человеческий мозг — это не просто масштабированный мозг муравья, резюмирует ученый; для качественного скачка вперед необходимы принципиально новые алгоритмы [56:11, 56:26].