Педро Домингос: «Истинная угроза ИИ — его несовершенство»

Eye on AI 2,1 тыс. 56 мин 7 мин 29.09.2024
Главное

В эпоху бурного развития генеративных моделей общество все чаще задается вопросами о политическом и социальном влиянии технологий. Известный исследователь искусственного интеллекта и профессор Вашингтонского университета Педро Домингос в беседе с ведущим Крейгом Смитом обсуждает свою новую сатирическую книгу «2040» и делится скептическим взглядом на популярные сценарии гибели человечества. В центре дискуссии на канале Eye on AI — реальные угрозы несовершенных алгоритмов, перспективы «прямой демократии» с помощью персональных ИИ-агентов и научные тупики современных языковых моделей.

🤖 Истинные угрозы ИИ: Почему Терминатор не придет 3:35

Роман Педро Домингоса «2040: Сатира на Кремниевую долину» задумывался как преувеличение текущих технологических трендов до абсурда . Однако, по словам автора, многие описанные в книге события начинают сбываться гораздо быстрее, чем ожидалось . Центральным персонажем сатиры выступает PresiBot — кандидат в президенты на базе искусственного интеллекта, напоминающий запущенную в политику модель ChatGPT .

Через эту сатиру Домингос стремится показать, что общество опасается не тех угроз . По мнению профессора, реальную опасность представляет не восстание злых машин в стиле «Терминатора», а банальное несовершенство систем . ИИ совершает ошибки, галлюцинирует, содержит баги и требует постоянной отладки . Ситуация усугубляется тем, что создающие и контролирующие эти системы люди сами полны недостатков, а их конфликты и ошибки накладываются на несовершенство алгоритмов, что и приводит к масштабным сбоям .

В споре о безопасности ИИ между первопроходцами глубокого обучения Джеффом Хинтоном и Яном Лекуном Домингос твердо стоит на стороне последнего [05:51, 06:04]. Он выражает скепсис относительно авторитета Хинтона в практических вопросах . По мнению Домингоса, Хинтон совершает две важные ошибки :

  1. Суперинтеллект вовсе не находится на пороге создания, как полагают алармисты [06:36, 06:53].
  2. Сверхразум не несет в себе экзистенциальной угрозы для выживания человечества .

Домингос утверждает, что люди ошибочно проецируют на компьютеры человеческие качества — волю к власти, амбиции, эмоции и сознание . ИИ не обладает этими свойствами и не обретет их, если разработчики целенаправленно их туда не заложат . Профессор убежден, что искусственный интеллект должен развиваться как продолжение человеческого разума под нашим полным контролем . Ведущий Крейг Смит соглашается с этим мнением, добавляя, что физическое воплощение ИИ в робототехнике все еще сильно отстает от софтверной части, и до появления способных угрожать человеку автономных роботов пройдут десятилетия [08:27, 08:42].

🌆 Контрасты Кремниевой долины: Утопия против дистопии 10:36

Крейг Смит, живший некоторое время в районе залива Сан-Франциско, обращает внимание на глубокий контраст между невероятным богатством технологических гигантов и деградацией городской среды . Ведущий выражает недоумение, почему миллиардеры вроде Илона Маска или Джеффа Безоса не могут решить проблему бездомности, выделив на это малую долю своего состояния [11:18, 11:34].

Педро Домингос подтверждает, что этот поразительный контраст лег в основу его книги . В современном Сан-Франциско беспилотные автомобили ездят по улицам, где прямо на тротуарах лежат бездомные и горы мусора, что делает реальность более мрачной, чем классический киберпанк Уильяма Гибсона . В романе Домингоса описана гигантская корпорация Happinet (карикатура на Salesforce) с высочайшей башней в Сан-Франциско, под которой расположен огромный дата-центр [12:31, 13:14]. Главный герой романа обнаруживает, что этот теплый подземный центр заполнен сквоттерами-бездомными, прячущимися от камер с помощью роботов .

При этом Домингос считает наивным представление о том, что проблему бездомности можно решить простым выделением денег . На его взгляд, это политическая, а не техническая проблема . Профессор высмеивает веру айтишников в «технологический оптимизм», выраженную в предвыборном лозунге PresiBot «Оптимизируй Америку!» . В свою очередь, Смит ссылается на успешный опыт программы «Жилье прежде всего» (Housing First), разработанной Сэмом Цемберисом , подчеркивая, что главной преградой для ее реализации в крупных городах становится отсутствие координации между институтами и политическая поляризация общества [15:49, 16:05].

🏛️ Демократия 2.0: Может ли ИИ заменить политиков? 17:30

С развитием новых рассуждающих моделей (таких как проект Q*, Strawberry или GPT-5) способность ИИ принимать решения становится реальностью . Домингос напоминает, что принятие решений — это фундаментальная задача ИИ с 1980-х годов [19:23, 19:40]. Ключевое отличие ИИ от обычной программы заключается в том, что он принимает решения самостоятельно, ориентируясь на заложенные разработчиком целевые функции [20:09, 20:22].

Обсуждая концепцию «двигателя истины» (truth engine), собеседники сходятся во мнении, что ИИ не должен быть абсолютным арбитром в спорах, так как истина часто субъективна [21:55, 22:53]. Однако Домингос считает, что ИИ может стать мощным инструментом приближения к истине благодаря способности анализировать колоссальные объемы данных . На данный момент генеративный ИИ, напротив, отдаляет нас от нее, поскольку современные большие языковые модели (LLM) не имеют понятия об объективной правде и лишь генерируют вероятностно подходящий текст, чтобы угодить пользователю [24:36, 24:50].

В романе Домингоса описывается эволюция ИИ-кандидата :

Домингос предлагает футуристический сценарий реформы демократии: вместо 400 конгрессменов решения могут принимать 300 миллионов персональных ИИ-моделей, представляющих каждого гражданина . По мнению профессора, цифровая копия человека сможет отстаивать его интересы эффективнее любого депутата, так как ИИ лишен когнических ограничений и конфликта интересов . В качестве примера неэффективности традиционного голосования Домингос приводит Brexit, отмечая, что умный ИИ-помощник мог бы заранее просчитать последствия выхода Великобритании из ЕС и предупредить избирателей о нереалистичности их ожиданий [32:57, 33:32, 33:44].

🛞 Как «научиться водить» искусственный интеллект 35:49

Крейг Смит отмечает, что общественное доверие к ИИ сейчас находится на низком уровне из-за частых сбоев в работе систем и нагнетания страха в медиа . Многие люди не осознают, насколько глубоко ИИ уже проник в их жизнь через рекомендательные алгоритмы Amazon, социальных сетей и поисковых систем [37:41, 38:16].

Домингос использует метафору автомобиля . По его мнению, ИИ сегодня похож на машину без руля, которая подъезжает к дому и предлагает человеку сесть внутрь . Чтобы вернуть контроль, общество должно :

  1. Потребовать вернуть руль и педали управления ИИ (то есть получить доступ к настройке целевой функции алгоритма).
  2. Научиться водить этот технологический транспорт.

Профессор подчеркивает, что целевая функция (метрика оптимизации) не должна задаваться исключительно корпорациями; часть параметров должна определяться законом ради общественного блага, а ключевой контроль должен оставаться за пользователем [41:28, 41:43, 41:58]. Тот, кто научится использовать ИИ в работе и повседневной жизни, получит власть, а те, кто откажется от технологий, окажутся на обочине прогресса [42:24, 43:20].

Домингос также выражает серьезную тревогу по поводу попыток крупных корпораций (в частности, Google) скорректировать модели машинного обучения так, чтобы они показывали мир не таким, какой он есть, а таким, каким он «должен быть» с точки зрения корпоративной этики (например, искусственно выравнивая гендерный баланс в профессиях при поисковой выдаче) [45:09, 45:27, 45:40]. Профессор называет это созданием «оруэлловского мира» на базе ИИ и призывает бороться за то, чтобы ИИ отражал объективную реальность, а не идеологические конструкты [45:55, 46:09].

🔬 Будущее алгоритмов: За пределами трансформеров 47:43

Сейчас Педро Домингос сосредоточен на поиске новых алгоритмов обучения, которые помогут создать надежный ИИ, не склонный к галлюцинациям . В рамках концепции, описанной в его книге «Главный алгоритм», ученый работает над глубокой интеграцией символьного ИИ (способного к логическому рассуждению) и нейронных сетей (отлично распознающих паттерны, но не умеющих логически мыслить) [48:02, 48:16].

Профессор критически оценивает шансы OpenAI создать полноценный сильный ИИ (AGI) . По мнению Домингоса, в компании преобладает хакерская культура, предполагающая, что фундаментальные научные проблемы ИИ можно решить простым масштабированием и доработкой трансформеров [49:50, 50:07]. Домингос напоминает, что даже Сэм Альтман ранее признавал ограниченность архитектуры трансформеров . С точки зрения гостя, лаборатория DeepMind выглядит гораздо сильнее OpenAI с научной точки зрения . При этом профессор подчеркивает, что ключевые долгосрочные прорывы в сфере ИИ по-прежнему совершаются в университетах, а не в корпоративных лабораториях Google, Meta или Microsoft, получающих все внимание прессы .

Домингос также выражает сомнения в успехе стартапа Keen Джона Кармака и Ричарда Саттона, пытающихся прийти к AGI через обучение с подкреплением (Reinforcement Learning) [51:27, 51:42]. Он указывает на историческую проблему этого подхода — разреженность наград [53:33, 53:49]:

В завершение дискуссии Домингос оспаривает «горький урок» Ричарда Саттона о том, что для прогресса ИИ важны лишь масштабирование данных и вычислительных мощностей [54:39, 54:54]. По мнению профессора, масштабирование — лишь финальный штрих . Ему предшествовали десятилетия фундаментальной научной работы: изобретение GPU, векторных представлений (embeddings) и алгоритма обратного распространения ошибки . Человеческий мозг — это не просто масштабированный мозг муравья, резюмирует ученый; для качественного скачка вперед необходимы принципиально новые алгоритмы [56:11, 56:26].

💬 Цитаты

«Реальная опасность заключается не в Терминаторе или злом ИИ... реальная опасность в том, что ИИ несовершенен.»

Педро Домингос 05:04

«Мы собираемся развивать ИИ как расширение нашего интеллекта. Это не какое-то другое существо, которое нападет на нас.»

Педро Домингос 07:35

«Человеческий мозг — это не просто масштабированный мозг муравья.»

Педро Домингос 56:11
👥 Спикеры
📚 Упомянутые книги
🔗 Упомянутые сайты и проекты
📖 Термины
AGI (сильный ИИ)
Гипотетический искусственный интеллект, способный выполнять любую интеллектуальную задачу на уровне человека.
Символьный ИИ
Подход в искусственном интеллекте, основанный на логических правилах и представлении знаний.
Обучение с подкреплением
Метод машинного обучения, при котором система обучается на основе получаемых наград или штрафов за свои действия.
Трансформер
Архитектура нейронных сетей, лежащая в основе большинства современных языковых моделей, таких как GPT.
📊 Цифры
⚖️ Другая сторона
Искусственный интеллект Педро Домингос Крейг Смит OpenAI ChatGPT AGI