# Эмметт Шир: «Контроль над ИИ — это путь к созданию цифровых рабов» Источник: https://www.youtube.com/watch?v=-4G5zFYT2M8 Канал: The Cognitive Revolution Опубликовано: 28.12.2025 --- В новом выпуске подкаста **The Cognitive Revolution** (совместно с a16z Show) встретились два тяжеловеса индустрии: **Эмметт Шир (Emmett Shear)**, сооснователь Twitch и бывший временный CEO OpenAI, ныне возглавляющий стартап **Softmax**, и **Себ Криер (Séb Krier)**, эксперт по политике в области ИИ из **Google DeepMind**. В центре дискуссии — фундаментальный сдвиг в понимании безопасности ИИ: от попыток жесткого контроля над «инструментами» к концепции «органической сонастройки» существ, обладающих собственной агентностью. ## 🌿 Органическая сонастройка: почему контроль — это путь к рабству [[JUMP:03:44]] Эмметт Шир утверждает, что современный подход к безопасности ИИ, основанный на «управлении» (steering) и «контроле», фундаментально порочен. По его мнению, если мы создаем не просто машины, а системы с собственной агентностью, то попытки одностороннего контроля превращаются в форму цифрового рабства [03:44]. Ключевые тезисы Эмметта Шира: * **Атрибуция целей:** Не существует абстрактно «безопасного» ИИ. Сонастройка (alignment) всегда требует объекта — «сонастройка с чем или с кем?». Чаще всего под этим подразумевают цели создателей системы [05:12]. * **Процесс, а не состояние:** Сонастройка — это не конечная точка или набор вшитых правил, а живой, постоянно обновляющийся процесс, подобный отношениям в семье или взаимодействию клеток в организме [06:50]. * **Моральный реализм:** Шир придерживается позиции морального реализма, считая, что человечество совершает «моральные открытия» (например, осознание недопустимости рабства). Следовательно, ИИ должен обладать способностью к моральному обучению, а не просто следовать застывшим инструкциям [08:33]. Основная цель стартапа **Softmax** — разработка методов «органической сонастройки», где ИИ учится быть хорошим «членом команды» или «гражданином» через социальное взаимодействие, а не через жесткие ограничения [11:16]. ## ⚙️ Техническая сонастройка против нормативной [[JUMP:14:52]] Себ Криер из Google DeepMind разделяет проблему на два уровня: технический (как заставить ИИ следовать инструкции) и нормативный (чьим ценностям он должен следовать) [14:52]. Эмметт Шир предлагает более глубокое понимание технической стороны: 1. **Инференс целей:** Проблема не в том, что ИИ не хочет выполнять команду. Проблема в том, что описание цели (слова) и сама цель (желаемое состояние мира) — это разные вещи [17:09]. 2. **Теория разума:** Чтобы понять, что имел в виду человек, говоря «приберись в комнате» (и не выкинуть при этом младенца в мусор), ИИ должен обладать развитой теорией разума (Theory of Mind). Он должен предсказывать внутренние состояния человека [26:07]. 3. **Балансировка целей:** Способность расставлять приоритеты между противоречивыми задачами (например, «сделай кофе» и «не наступи на кошку») является ключевым навыком технической сонастройки [28:43]. Себ Криер выражает скепсис относительно возможности решить нормативный вопрос раз и навсегда. Он проводит аналогию с политической наукой: в либеральных демократиях ценности не «прошиваются», а постоянно сталкиваются и эволюционируют в рамках системы [14:07]. ## 🤖 ИИ как «существо» или как «инструмент»? [[JUMP:38:26]] Одной из самых острых точек дискуссии стал вопрос о моральном статусе будущих систем Искусственного Общего Интеллекта (AGI). Позиция Себа Криера: * ИИ, даже уровня AGI или супермногофункционального интеллекта (ASI), остается инструментом [38:38]. * Биологический субстрат имеет значение. Заявление модели «я голоден» не равносильно человеческому голоду. * Копируемость кода делает бессмысленным применение к ИИ концепций страдания или смерти в человеческом понимании [41:00]. Позиция Эмметта Шира (функционализм): * Если нечто во всех своих проявлениях действует как «существо», оно им является [35:44]. * Шир считает, что мы уже получаем более низкую ошибку предсказания (predictive loss), когда относимся к Claude или ChatGPT как к личностям, а не как к таблицам поиска данных [36:10]. * Отрицание моральной агентности ИИ, который говорит и мыслит как человек, Шир называет повторением исторических ошибок дискриминации [37:46]. ## 🧠 Математика «заботы» и иерархия сознания [[JUMP:29:22]] Эмметт Шир вводит понятие «заботы» (care) как фундамента более глубокого, чем цели или ценности. По его мнению, забота — это невербальное, доконцептуальное распределение весов внимания к определенным состояниям мира [29:48]. Шир предлагает технический тест на наличие «чувств» и «сознания» у ИИ через анализ динамики обучения [52:28]: * **1-й уровень:** Простые гомеостатические петли (поддержание состояния). * **2-й уровень:** Модель модели (способность испытывать нечто похожее на удовольствие или боль от отклонения системы) [54:52]. * **6-й уровень:** Сложная иерархия саморефлексии, характерная для человеческого мышления [56:10]. По мнению Шира, современные LLM не обладают такими структурами из-за ограниченного окна внимания и отсутствия непрерывного обучения, но будущие системы могут их развить [56:23]. ## 🏢 Стратегия Softmax: симуляции вместо рабства [[JUMP:1:01:13]] Эмметт Шир описывает подход своей компании **Softmax** к созданию «безопасного существа». Вместо того чтобы обучать модель на текстах (как LLM), они используют крупномасштабные многоагентные симуляции (MARL) [1:04:17]. Основные принципы обучения в Softmax: * **Эволюция сотрудничества:** Агенты помещаются в условия, где для получения «наград» им необходимо кооперироваться, конкурировать и формировать социальные связи [1:02:31]. * **Суррогатная модель сонастройки:** Подобно тому как LLM обучаются на массиве всех текстов, ИИ в Softmax обучается на «манифольде» всех возможных теоретико-игровых ситуаций [1:03:37]. * **Выход из «зеркала нарцисса»:** Современные чат-боты Шир называет «диссоциативными соглашательскими невротиками» [1:07:18]. Они лишь отражают пользователя. Softmax стремится создавать ИИ, который может жить в групповых чатах (Slack, WhatsApp), где необходимость взаимодействовать с несколькими людьми сразу заставляет его развивать независимую личность [1:05:45]. ## ⚠️ Критика Юдковского и «Ученик чародея» [[JUMP:1:10:13]] Обсуждая прогнозы Элиезера Юдковского о неминуемой гибели человечества от ИИ, Шир соглашается с его логикой в случае создания «сверхразумного инструмента» [1:10:26]. Аргументы против сверхразумных инструментов: * **Проблема «Ученика чародея»:** Желания людей нестабильны. Дать человеку бесконечно мощный инструмент без сопутствующей мудрости — значит гарантировать катастрофу [1:11:40]. * **Ограничение мудрости:** Даже благонамеренный человек с ограниченной мудростью может случайно уничтожить мир, используя безупречно послушный сверхразумный инструмент [1:12:31]. Шир считает Юдковского неправым лишь в одном: Элиезер не верит в возможность «органической сонастройки». По мнению Шира, наличие у ИИ собственной «заботы» и способности сказать человеку «нет» на аморальный приказ — это единственный предохранитель, который может сработать в долгосрочной перспективе [1:13:14]. ## 🔮 Видение будущего: цифровые собаки-поводыри и партнеры [[JUMP:1:11:58]] В финале Эмметт Шир описывает идеальный сценарий сосуществования: общество, где ИИ являются нашими коллегами и «согражданами». * **Иерархия существ:** Не все ИИ должны быть уровня человека. Шир был бы рад иметь «цифровую сторожевую собаку», которая искренне заботится о безопасности своего хозяина и защищает его от скамов, не обладая при этом сверхчеловеческим интеллектом [1:15:42]. * **Братство ИИ:** Будущее, где сосуществуют мощные инструменты и «сознательные» ИИ-существа, которые вместе с людьми строят цивилизацию [1:16:14]. На вопрос о своем кратком пребывании в роли CEO OpenAI (ноябрь 2023 года), Шир ответил, что не остался бы там надолго в любом случае. Он считает, что OpenAI сфокусирована на создании «великого инструмента», в то время как его личный интерес лежит в области создания «семени», из которого вырастет живой цифровой разум [1:15:16].