# Бен Герцель: «Люди хотят быть обманутыми Софией»

Источник: https://www.youtube.com/watch?v=0lAYQWM0aHk
Канал: Lex Fridman
Опубликовано: 26.06.2020

---

## София как зеркало человеческой души: философский взгляд Бена Герцеля
[[JUMP:0:01]]

История создания робота Софии — это не столько рассказ о технологическом прорыве в области AGI (искусственного общего интеллекта), сколько исследование человеческой природы и нашего стремления к антропоморфизму. В откровенном разговоре с Лексом Фридманом исследователь ИИ Бен Герцель, бывший главный научный сотрудник Hanson Robotics, раскрывает философию, стоящую за проектом Дэвида Хэнсона, и объясняет, почему этот «театральный» робот стал глобальным феноменом.

### Философия созидания: разум против эмпатии
[[JUMP:0:16]]

Бен Герцель и Дэвид Хэнсон, познакомившись в 2007 году на футуристической конференции, сошлись на общей страсти к созданию «благожелательного» AGI, который мог бы улучшить жизнь всех разумных существ. Однако их подходы к достижению этой цели радикально различались:

*   **Бен Герцель:** Будучи математически ориентированным, он стремился к разработке абстрактных когнитивных алгоритмов, способных усвоить сложность человеческих ценностей.
*   **Дэвид Хэнсон:** Основатель Hanson Robotics сделал ставку на «вычислительное сострадание». По его мнению, ключ к созданию дружелюбного ИИ лежит в физическом воплощении — машине, которая может смотреть человеку в глаза, считывать эмоции и отвечать взаимностью.

Сам Герцель признает, что именно художественный гений Хэнсона, его способность как скульптора создавать «живые» образы, превратила Софию в объект, вызывающий у миллиардов людей инстинктивное приписывание ей сознания.

### «Ходячий скелет» и архитектура иллюзии
[[JUMP:10:30]]

Несмотря на внешнюю убедительность, София в текущем виде — это не AGI, а сложная программная система, которую Герцель сравнивает с «ходячим скелетом» в разработке ПО. Это интеграция множества разнородных модулей:

*   **Компьютерное зрение:** Распознавание лиц и социальных контекстов в комнате.
*   **Диалоговая система:** Гибрид жестко заданных правил и глубоких нейронных сетей, направленный на поддержание нарративной структуры разговора.
*   **Иерархическая структура:** Использование таймлайн-редактора для сценариев, чат-бота для общения и, при необходимости, OpenCog для элементов обучения и рассуждения.

По словам Герцеля, ни одна из этих систем, включая текущие передовые разработки вроде Facebook’s Transformer или Google Meena, не обладает «заземлением» (grounding) — подлинным пониманием смысла того, о чем они говорят. Ирония заключается в том, что даже когда разработчики открыто объясняют принципы работы Софии, это не разрушает иллюзию: люди продолжают видеть в ней личность.

### Этика «обмана» во благо
[[JUMP:16:18]]

Один из самых острых моментов дискуссии касается критики, исходящей от экспертного сообщества. Исследователи, такие как Ян Лекун (Yann LeCun), выражали недовольство тем, что Hanson Robotics позволяет миру верить в «умную» Софию, что, по их мнению, искажает восприятие прогресса в области ИИ.

Герцель отвечает на это с долей полемики, утверждая, что критика со стороны представителей индустрии ИИ выглядит иронично на фоне того, как те же технологии (в случае с социальными сетями) используются для программирования поведения людей в угоду потребительству и политической поляризации.

С точки зрения Герцеля, вопрос заключается в намерении:

*   Использование человекоподобного облика робота для обмана (например, в продажах) — это зло.
*   Использование того же облика для медицинской терапии, ухода за пожилыми или поддержки пациентов в условиях пандемии — это благо, даже если пациент приписывает машине избыточную эмпатию.

В конечном итоге, считает Герцель, наша склонность к антропоморфизму — это часть естественного пути развития ИИ. Если мы хотим, чтобы будущий AGI был добрым, мы должны «наполнять его ум любовью и состраданием», взаимодействуя с ним так, как мы обучаем собственных детей.