В условиях стремительного развития искусственного интеллекта человечество сталкивается с уникальным вызовом: как изучать и контролировать системы, которые ещё не созданы, но потенциально могут обладать огромной властью? Нора Амманн, соосновательница и директор PIBBSS Research, предлагает искать ответы не только в программном коде, но и в принципах устройства биологических и социальных систем — от поведения клеток до динамики рыночной экономики.
🧠 Проблема «эпистемического доступа» к будущему ИИ 9:43
Одной из центральных сложностей в области безопасности ИИ Нора Амманн считает проблему «эпистемического доступа» (epistemic access) . В классической науке прогресс строится на эмпирических данных: учёные выдвигают гипотезы и проверяют их экспериментально. В инженерии используется метод проб и ошибок. Однако в случае с продвинутым ИИ этот путь может быть фатальным.
По мнению Амманн, системы, вызывающие наибольшее беспокойство, либо ещё не существуют, либо их тестирование методом «проб и ошибок» недопустимо из-за масштаба потенциального вреда . Это создает методологический вакуум: как систематически изучать то, к чему нет прямого доступа?
Традиционно исследователи безопасности ИИ делятся на два лагеря:
- ML-технический подход: сторонники полагают, что будущие системы будут во многом похожи на современные архитектуры машинного обучения. Следовательно, изучая текущие модели (например, трансформеры), можно перенести эти знания на будущее .
- Формально-рациональный подход: исследователи опираются на теорию принятия решений и экономические модели «идеально рациональных агентов». Здесь ИИ рассматривается как мощный агент, стремящийся к цели наиболее эффективным способом . Сюда относятся работы Стивена Омохундро (Stephen Omohundro) 2012 года об «инструментальной конвергенции» и стремлении ИИ к власти .
Нора Амманн предлагает «третий путь», который лежит в основе деятельности PIBBSS Research (Principles of Intelligent Behavior in Biological and Social Systems).
🌿 Биология и социум как зеркало для ИИ 21:26
Гипотеза Амманн заключается в том, что интеллектуальное поведение как феномен подчиняется схожим принципам независимо от субстрата — будь то нейроны в мозге, клетки в организме или экономические агенты на рынке .
В рамках этого подхода «интеллект» трактуется максимально широко:
- Биологические системы: как клетки координируются для создания тканей и органов (морфогенез)? Это пример сложного распределённого интеллекта, где «целое» знает больше, чем «части» .
- Социальные системы: как рынок распределяет ресурсы эффективнее, чем любой отдельный человек? Экономика реализует системную работу, которую можно рассматривать как форму интеллектуального поведения .
Амманн подчеркивает, что человеческий разум адаптирован эволюцией для восприятия объектов на определённых пространственно-временных масштабах . Мы можем не заметить «агентности» ИИ, если она будет проявляться слишком быстро или слишком медленно для нашего восприятия. Использование биологических и социальных аналогий помогает расширить наш «сенсорный диапазон» и увидеть паттерны поведения, которые иначе остались бы скрытыми .
🏗️ Кластеры исследований: от раковых клеток до теории игр 42:29
PIBBSS Research фокусируется на нескольких ключевых направлениях, где междисциплинарный подход может дать плоды для безопасности ИИ:
1. Понимание агентности (Agency)
Нора Амманн задается вопросом: можно ли измерить «агентность» так же, как мы измеряем температуру? . Если агентность — это физическое свойство системы, то её можно будет количественно оценить в ИИ-моделях будущего.
2. Иерархическое выравнивание
В биологии существует проблема «мизалаймента» (рассогласования целей) на разных уровнях. Пример — раковые клетки. У них есть своя «цель» (размножение), которая вступает в конфликт с целями всего организма . Амманн считает это прямой аналогией проблемы «внутренних оптимизаторов» (inner alignment) в ИИ, когда подсистема внутри нейросети начинает преследовать цели, отличные от заложенных разработчиками .
3. Экология взаимодействующих агентов
Традиционно ИИ изучается как одиночный агент, но в реальности нас ждёт мир, где множество ИИ взаимодействуют друг с другом и с людьми . Амманн предлагает использовать методы вычислительной экологии для изучения этих динамик .
- Как виды (модели) конкурируют за ресурсы?
- Какие возникают эмерджентные (внезапно проявляющиеся) риски при взаимодействии разных архитектур?
🔬 От теории к практике: интерпретируемость и оценки 57:50
Хотя работа PIBBSS кажется абстрактной, Амманн настаивает на её прикладной ценности для двух областей:
- Интерпретируемость (Interpretability): когда мы смотрим внутрь нейросети, нам нужно знать, что именно мы ищем. Биологические модели планирования или теории обмана (deception) в животном мире могут подсказать, какие паттерны активации весов соответствуют опасным намерениям модели .
- Оценка возможностей (Evaluations): чтобы понять, способна ли модель на «ситуационную осведомленность» или «саморепликацию», нужно чётко определить эти понятия математически . Работа со специалистами из других областей помогает создать более строгие тесты для ИИ.
🚀 Призыв к действию: почему ИИ нужны «чужаки» 1:18:03
Нора Амманн активно приглашает в область безопасности ИИ людей с нестандартным бэкграундом: докторантов по биологии, экономике, физике и философии. В PIBBSS действуют программы fellowship, где экспертов из других областей объединяют с ИИ-исследователями для поиска новых точек соприкосновения .
По мнению Амманн, область безопасности ИИ сейчас находится в «допарадигмальном» состоянии . В ней много «низковисящих фруктов» — важных открытий, которые могут сделать люди, просто применив методологию своей науки к новой сфере.
Ведущий Натан Лабенц добавляет, что для исследователей это может быть крайне вдохновляющим опытом — перейти из зрелой области, где прогресс замедлился, в «дикое поле» ИИ, где вопросы имеют экзистенциальное значение для человечества .
🕰️ Исторический контекст и уникальность момента 1:13:59
Амманн признает, что такие аналогии, как промышленная революция или изобретение электричества, полезны, но ограничены . Текущий момент уникален тем, что мы создаем автономное, целенаправленное поведение искусственно. В отличие от неандертальцев, которые не предвидели появления кроманьонцев, у нас есть шанс (хоть и не гарантированный) заранее понять правила игры .
Главным вызовом остается скорость. Эволюция создавала сложные системы миллионы лет, социальные институты адаптировались к технологиям веками, но ИИ развивается в темпе, который требует от человечества беспрецедентной интеллектуальной мобилизации .
