# Тим Роктешель: «Сильный ИИ невозможен без способности удивлять»

Источник: https://www.youtube.com/watch?v=6DrCq8Ry2cw
Канал: Machine Learning Street Talk
Опубликовано: 04.10.2024

---

В современном дискурсе об искусственном интеллекте доминирует парадигма масштабирования статических данных, однако ведущие исследователи всё чаще обращают внимание на концепцию открытых систем (open-endedness). В интервью для канала Machine Learning Street Talk Тим Роктешель, профессор Университетского колледжа Лондона и руководитель группы открытых систем в Google DeepMind, подробно разбирает, почему истинный сильный ИИ (AGI) невозможен без механизмов непрерывного самосовершенствования и творчества. Он представляет новые исследования своей команды, переосмысляющие саму природу автономии ИИ через призму субъективного восприятия наблюдателя.

## 🚀 Парадигма открытого финала: почему ИИ должен уметь удивлять
[[JUMP:0:00]]

По мнению Тима Роктешеля, для достижения интеллекта человеческого уровня нам критически важно понять природу креативности. Традиционный подход к обучению моделей, будь то Gemini или ChatGPT, ограничен: разработчики скармливают алгоритму статический набор данных, модель сходится к оптимуму, и на этом процесс завершается. Ни одна крупная компания не тренирует базовую модель непрерывно в течение года или двух, ожидая, что внутри неё сами собой начнут происходить новые удивительные открытия.

В противовес этому концепция открытого финала (open-endedness) нацелена на создание систем, способных бесконечно самосовершенствоваться и автономно находить новые интересные артефакты. Гость подчёркивает, что идеальный ИИ общего назначения должен обладать способностью:

* Самостоятельно исследовать среду обитания и ставить перед собой цели.
* Находить решения задач, о которых человечество даже не задумывалось.
* Демонстрировать подлинную агентность, креативность и субъективность.

В качестве примера природной открытой системы Тим Роктешель и ведущий приводят биологическую, технологическую и культурную эволюцию. Эволюция на Земле не прекращается, она постоянно аккумулирует информацию, создаёт новые экологические ниши и усложняет структуру организмов. Чтобы совершить качественный скачок в ИИ, исследователям необходимо запустить аналогичный творческий или открытый процесс в цифровой среде.

## 🧠 Математическая строгость субъективного: новое определение открытых систем
[[JUMP:07:22]]

Долгое время в ИИ-сообществе велись споры о том, как формализовать понятие open-endedness. Команда Тима Роктешеля в Google DeepMind, опираясь на фундаментальные труды Кеннета Стенли, Джоэла Лемана и Джеффа Клуна, предложила математическое определение, исключающее размытый термин «интересность» (interestingness).

> Согласно формулировке исследователей, система является открытой для внешнего наблюдателя тогда и только тогда, когда генерируемая ею последовательность артефактов оказывается для него одновременно **новой (novel)** и **доступной для изучения (learnable)**.

Тим Роктешель объясняет важность обоих критериев на простых аналогиях:

1.  **Белый шум на экране старого телевизора.** Каждый новый кадр здесь абсолютно уникален и никогда не повторялся ранее, то есть обладает максимальной новизной. Однако такая система не является открытой, поскольку в шуме нет внутренней структуры — наблюдатель не может ничему научиться.
2.  **Монеты евро в Европейском союзе.** Человек может легко изучить дизайн монет разных стран, зафиксировать структуру, но в какой-то момент он увидит их все. Новизна иссякнет, и система перестанет быть открытой.

Критически важным элементом формулы становится сам **наблюдатель**, поскольку объективно измерить открытость невозможно. Гость иллюстрирует это на примере триумфа AlphaGo. Для человека-игрока нейросеть долгое время выступала как открытая система: её знаменитый 37-й ход в матче с Ли Седолем продемонстрировал невероятную новизну и одновременно дал человечеству паттерн для обучения. Но когда алгоритм (в версии AlphaZero) достиг глубоко сверхчеловеческого уровня, обычный наблюдатель потерял способность улавливать разницу между различными градациями его мастерства. Система перестала быть для нас открытой, так как человеческий мозг вычислительно ограничен.

В предложенном математическом аппарате «интересность» не исчезла — она неявно представлена через выбор наблюдателем конкретной функции потерь (loss function) $L$. Это подчёркивает глубокую субъективность ИИ-исследований, которую, как считает Тим Роктешель, научному сообществу пора открыто принять.

## 🧭 Из академического андеграунда в мейнстрим ИИ
[[JUMP:33:29]]

Ещё несколько лет назад исследования открытых систем (такие проекты, как алгоритм POET Кеннета Стенли) считались нишевым направлением. Ситуация радикально изменилась за последние два года с выходом больших языковых моделей (LLM) в мейнстрим. Тим Роктешель выделяет две основные причины этого сдвига:

* **Кризис чистого масштабирования:** простое увеличение объёма статических данных больше не обеспечивает качественного скачка в возможностях агентов.
* **Проблема навигации в гигантских пространствах поиска:** традиционные эволюционные подходы вычислительно тупиковы без эффективных априорных допущений.

Гость предлагает яркое метафорическое описание: биологическая эволюция — это «цепная реакция размножения вычислений во Вселенной». С открытием каждой новой ниши количество организмов и совокупная «вычислительная мощность» биосферы увеличиваются. В ИИ-лабораториях учёные жестко ограничены физическим числом доступных GPU и TPU плат.

Решением проблемы навигации в бесконечном пространстве вариантов стало использование LLM в качестве «компаса интересного». Обученные на колоссальных массивах человеческих текстов, языковые модели впитали в себя коллективные представления о том, что люди находят важным и увлекательным (это наглядно доказано в работах OMNI и OMNI-EPIC из лаборатории Джеффа Клуна). Сочетая способность LLM генерировать мутации данных и их же способность оценивать результаты, учёные получили мощнейший инструмент управляемой эволюции.

## 🧬 Prompt Breeder: как ИИ выводит собственные программы
[[JUMP:46:31]]

В качестве практического воплощения этих идей Тим Роктешель презентовал на конференции ICML проект **Prompt Breeder**, завоевавший награду за лучший доклад (Best Paper Award). Источником вдохновения послужил классический эксперимент Кеннета Стенли 2006 года *Pickbreeder*, в котором пользователи интернета выводили сложные изображения (например, черепа или бабочки) из случайного цифрового шума, просто отбирая визуально интересные мутации. Pickbreeder доказал фундаментальный парадокс: движение к великим целям невозможно спланировать заранее, а промежуточные «ступеньки» (stepping stones) часто вообще не похожи на финальный результат.

Prompt Breeder переносит этот эволюционный принцип на текстовые подсказки для нейросетей, проводя прямую аналогию с концепцией Юргена Шмидхубера из 1990-х годов о самореферентных матрицах весов. Если в классических сетях программой являются веса, то в эпоху LLM поведение модели можно радикально менять с помощью языка (например, через технику Chain of Thought — «думай шаг за шагом»). Таким образом, промт становится полноценной программой.

Система Prompt Breeder работает по следующему алгоритму:

1.  Берутся стандартные бенчмарки на логику, математику и здравый смысл.
2.  Модели даётся базовый промт (например, «Давай размышлять шаг за шагом»).
3.  Используя саму себя, LLM генерирует мутации этого промта на естественном языке (например, переводя его в инструкцию «Разбей задачу на подзадачи...»).
4.  Новые промты тестируются на задачах, и система отбирает те варианты, которые показывают наивысшую точность (фитнес).

Поскольку инструкции для мутации — это тоже промты, система способна улучшать не только конечные подсказки, но и сам *способ модификации* подсказок. Это делает Prompt Breeder полностью самореферентной, эволюционирующей системой.

## ⚖️ Протокол дебатов и поиск объективной истины
[[JUMP:40:25]]

Встаёт закономерный вопрос: если ИИ начнёт развиваться автономно и выйдет за рамки человеческих знаний, как гарантировать его безопасность и выравнивание (alignment)? Тим Роктешель предлагает не поддаваться панике по поводу «коллапса моделей», когда ИИ якобы деградирует, обучаясь на собственном контенте из интернета. Гость подчёркивает: деградация происходит лишь при пассивном поглощении статических данных. Настоящий агентный ИИ должен активно взаимодействовать со средой, проверять гипотезы и самостоятельно искать эмпирические доказательства, следуя научной философии Дэвида Дойча, изложенной в книге «Начало бесконечности».

Для контроля над сверхчеловеческими системами команда Роктешеля разработала протокол **AI Debate** (также получивший Best Paper на ICML). Вместо того чтобы просто верить ответам ИИ-ассистента, система клонирует модель и заставляет две её версии вести аргументированный спор друг с другом, защищая противоположные точки зрения перед человеком-судьёй.

Эксперименты показали удивительную закономерность: по мере роста интеллектуальности моделей им становится математически и лингвистически гораздо проще защищать истину, нежели искусно сконструированную ложь. Тим Роктешель верит, что если обязать ИИ стремиться к созданию устойчивых, неизменяемых объяснений (hard-to-vary explanations), то продукты его мышления останутся понятными для человечества ещё очень долгое время.

## 🔮 Будущее ИИ: прогнозы и наследие UCL DARK Lab
[[JUMP:53:51]]

Тим Роктешель с гордостью вспоминает создание лаборатории UCL DARK Lab в 2018 году совместно с Эдвардом Грефенштеттом. Лаборатория превратилась в один из главных центров превосходства в сфере ИИ в Великобритании, выпустив целую плеяду блестящих исследователей. Сегодня ключевые участники этой команды работают в Google DeepMind, развивая фундаментальную науку.

Гость делает две главные ставки на развитие индустрии в ближайшие несколько лет:

* **Генерация интерактивных миров:** Развитие моделей вроде *Genie* (Generative Interactive Environments), способных создавать полноценные, визуально богатые симуляции из видео. Это станет мощнейшим катализатором для робототехники и индустрии развлечений.
* **Сверхдлинные контекстные окна:** Использование контекста размером в миллионы токенов для удержания целых книг и архивов научных статей, что позволит развернуть полноценные open-ended циклы самосовершенствования прямо внутри рабочей памяти моделей.

Главный вывод исследователя звучит оптимистично: чтобы создать искусственный сверхинтеллект, учёным нужно отказаться от попыток жестко планировать каждый шаг алгоритма. Великие открытия рождаются там, где системе позволяют свободно развиваться, ошибаться и находить неочевидныеstepping stones на пути к неизведанному.