# Нора Амманн: «Биологические системы могут научить нас контролировать ИИ будущего»

Источник: https://www.youtube.com/watch?v=mg53I4Lekis
Канал: The Cognitive Revolution
Опубликовано: 07.12.2023

---

В условиях стремительного развития искусственного интеллекта человечество сталкивается с уникальным вызовом: как изучать и контролировать системы, которые ещё не созданы, но потенциально могут обладать огромной властью? Нора Амманн, соосновательница и директор PIBBSS Research, предлагает искать ответы не только в программном коде, но и в принципах устройства биологических и социальных систем — от поведения клеток до динамики рыночной экономики.

## 🧠 Проблема «эпистемического доступа» к будущему ИИ
[[JUMP:09:43]]

Одной из центральных сложностей в области безопасности ИИ Нора Амманн считает проблему «эпистемического доступа» (epistemic access) [09:43]. В классической науке прогресс строится на эмпирических данных: учёные выдвигают гипотезы и проверяют их экспериментально. В инженерии используется метод проб и ошибок. Однако в случае с продвинутым ИИ этот путь может быть фатальным.

По мнению Амманн, системы, вызывающие наибольшее беспокойство, либо ещё не существуют, либо их тестирование методом «проб и ошибок» недопустимо из-за масштаба потенциального вреда [10:23]. Это создает методологический вакуум: как систематически изучать то, к чему нет прямого доступа?

Традиционно исследователи безопасности ИИ делятся на два лагеря:

1.  **ML-технический подход:** сторонники полагают, что будущие системы будут во многом похожи на современные архитектуры машинного обучения. Следовательно, изучая текущие модели (например, трансформеры), можно перенести эти знания на будущее [13:17].
2.  **Формально-рациональный подход:** исследователи опираются на теорию принятия решений и экономические модели «идеально рациональных агентов». Здесь ИИ рассматривается как мощный агент, стремящийся к цели наиболее эффективным способом [14:08]. Сюда относятся работы Стивена Омохундро (Stephen Omohundro) 2012 года об «инструментальной конвергенции» и стремлении ИИ к власти [15:11].

Нора Амманн предлагает «третий путь», который лежит в основе деятельности PIBBSS Research (Principles of Intelligent Behavior in Biological and Social Systems).

## 🌿 Биология и социум как зеркало для ИИ
[[JUMP:21:26]]

Гипотеза Амманн заключается в том, что интеллектуальное поведение как феномен подчиняется схожим принципам независимо от субстрата — будь то нейроны в мозге, клетки в организме или экономические агенты на рынке [21:38].

В рамках этого подхода «интеллект» трактуется максимально широко:

*   **Биологические системы:** как клетки координируются для создания тканей и органов (морфогенез)? Это пример сложного распределённого интеллекта, где «целое» знает больше, чем «части» [22:32].
*   **Социальные системы:** как рынок распределяет ресурсы эффективнее, чем любой отдельный человек? Экономика реализует системную работу, которую можно рассматривать как форму интеллектуального поведения [25:05].

Амманн подчеркивает, что человеческий разум адаптирован эволюцией для восприятия объектов на определённых пространственно-временных масштабах [27:30]. Мы можем не заметить «агентности» ИИ, если она будет проявляться слишком быстро или слишком медленно для нашего восприятия. Использование биологических и социальных аналогий помогает расширить наш «сенсорный диапазон» и увидеть паттерны поведения, которые иначе остались бы скрытыми [28:08].

## 🏗️ Кластеры исследований: от раковых клеток до теории игр
[[JUMP:42:29]]

PIBBSS Research фокусируется на нескольких ключевых направлениях, где междисциплинарный подход может дать плоды для безопасности ИИ:

### 1. Понимание агентности (Agency)
Нора Амманн задается вопросом: можно ли измерить «агентность» так же, как мы измеряем температуру? [47:33]. Если агентность — это физическое свойство системы, то её можно будет количественно оценить в ИИ-моделях будущего.

### 2. Иерархическое выравнивание
В биологии существует проблема «мизалаймента» (рассогласования целей) на разных уровнях. Пример — раковые клетки. У них есть своя «цель» (размножение), которая вступает в конфликт с целями всего организма [48:50]. Амманн считает это прямой аналогией проблемы «внутренних оптимизаторов» (inner alignment) в ИИ, когда подсистема внутри нейросети начинает преследовать цели, отличные от заложенных разработчиками [50:34].

### 3. Экология взаимодействующих агентов
Традиционно ИИ изучается как одиночный агент, но в реальности нас ждёт мир, где множество ИИ взаимодействуют друг с другом и с людьми [1:01:48]. Амманн предлагает использовать методы вычислительной экологии для изучения этих динамик [1:07:24].

*   Как виды (модели) конкурируют за ресурсы?
*   Какие возникают эмерджентные (внезапно проявляющиеся) риски при взаимодействии разных архитектур?

## 🔬 От теории к практике: интерпретируемость и оценки
[[JUMP:57:50]]

Хотя работа PIBBSS кажется абстрактной, Амманн настаивает на её прикладной ценности для двух областей:

1.  **Интерпретируемость (Interpretability):** когда мы смотрим внутрь нейросети, нам нужно знать, что именно мы ищем. Биологические модели планирования или теории обмана (deception) в животном мире могут подсказать, какие паттерны активации весов соответствуют опасным намерениям модели [59:11].
2.  **Оценка возможностей (Evaluations):** чтобы понять, способна ли модель на «ситуационную осведомленность» или «саморепликацию», нужно чётко определить эти понятия математически [1:12:14]. Работа со специалистами из других областей помогает создать более строгие тесты для ИИ.

## 🚀 Призыв к действию: почему ИИ нужны «чужаки»
[[JUMP:1:18:03]]

Нора Амманн активно приглашает в область безопасности ИИ людей с нестандартным бэкграундом: докторантов по биологии, экономике, физике и философии. В PIBBSS действуют программы fellowship, где экспертов из других областей объединяют с ИИ-исследователями для поиска новых точек соприкосновения [1:19:08].

По мнению Амманн, область безопасности ИИ сейчас находится в «допарадигмальном» состоянии [1:21:05]. В ней много «низковисящих фруктов» — важных открытий, которые могут сделать люди, просто применив методологию своей науки к новой сфере.

Ведущий Натан Лабенц добавляет, что для исследователей это может быть крайне вдохновляющим опытом — перейти из зрелой области, где прогресс замедлился, в «дикое поле» ИИ, где вопросы имеют экзистенциальное значение для человечества [1:24:08].

## 🕰️ Исторический контекст и уникальность момента
[[JUMP:1:13:59]]

Амманн признает, что такие аналогии, как промышленная революция или изобретение электричества, полезны, но ограничены [1:13:59]. Текущий момент уникален тем, что мы создаем автономное, целенаправленное поведение искусственно. В отличие от неандертальцев, которые не предвидели появления кроманьонцев, у нас есть шанс (хоть и не гарантированный) заранее понять правила игры [1:15:45].

Главным вызовом остается скорость. Эволюция создавала сложные системы миллионы лет, социальные институты адаптировались к технологиям веками, но ИИ развивается в темпе, который требует от человечества беспрецедентной интеллектуальной мобилизации [1:16:39].

---