В эпоху доминирования гигантских централизованных нейросетей некоторые исследователи ищут альтернативные пути развития технологий, вдохновленные живой природой. Ведущий YouTube-канала Янник Кильхер (Yannic Kilcher) обсудил с профессором ИТ-университета Копенгагена Себастьяном Риси (Sebastian Risi) концепцию самоорганизующихся и самосборных систем искусственного интеллекта. В центре дискуссии — переход от жесткого сквозного контроля к локальным правилам взаимодействия, способным наделить алгоритмы беспрецедентной гибкостью, устойчивостью и способностью к непрерывному обучению.
🐜 Смена парадигмы: от централизованного контроля к природной самоорганизации 2:29
Современный мейнстрим в глубоком обучении полностью полагается на нисходящий (top-down) подход. Разработчики жестко задают целевые функции, используют глобальный градиентный спуск и навязывают моделям внешние ограничения. По мнению Себастьяна Риси, несмотря на колоссальные успехи, такие системы остаются чрезвычайно хрупкими. Изменение всего одного пикселя в игре Atari Breakout может полностью разрушить стратегию агента подкрепления, а небольшой поворот изображения заставляет классификатор путать пожарный автобус с совершенно посторонним объектом. Известны даже случаи, когда автопилот Tesla пытался врезаться в самолет, неверно распознав его контуры.
В качестве альтернативы гость предлагает обратиться к восходящим (bottom-up) механизмам коллективного интеллекта, которые повсеместно встречаются в природе. В таких системах нет единого лидера или центрального контроллера. Живые организмы демонстрируют поразительную живучесть: вы можете удалить часть элементов, но структура продолжит функционировать.
В качестве примера успешной реализации этого принципа ученые приводят эксперимент группы Радики Нагпал (Radhika Nagpal) с роботами-килоботами (Kilobots). Тысяча простейших механизмов, обладающих исключительно локальным зрением и способностью общаться только с ближайшими соседями, со временем самостоятельно собираются в сложные скоординированные фигуры — звезды, буквы или очертания гаечного ключа.
Однако у проекта килоботов есть ограничение: правила их поведения были вручную написаны инженерами. Себастьян Риси и его лаборатория ставят перед собой иную задачу: объединить концепцию коллективного разума с глубоким обучением, чтобы алгоритмы сами находили и оптимизировали локальные правила для сборки комплексных объектов. Примером идеального воплощения таких алгоритмов в природе гость называет термитов, строящих огромные прочные гнезда, и процесс морфогенеза, когда миллиарды разнообразных клеток развиваются из одной единственной путем деления и локального обмена химическими сигналами.
🧬 Клеточные автоматы и магия регенерации: как ИИ учится заживлять раны 9:14
Классической математической моделью децентрализованного взаимодействия является игра «Жизнь» Конвея (Conway's Game of Life). Ее простые, созданные вручную правила порождают удивительно сложные движущиеся и реплицирующиеся структуры, а сама система фактически представляет собой универсальный компьютер. Настоящий прорыв в этой области произошел с появлением концепции нейронных клеточных автоматов (Neural Cellular Automata, NCA), впервые детально описанной в интерактивном журнале Distill.
В NCA каждая отдельная клетка (или пиксель изображения) управляется собственной копией одной и той же нейросети. Клетка анализирует состояние своих соседей и принимает решение о том, как изменить собственный цвет. Помимо стандартных каналов RGB, у клеток есть скрытые внутренние каналы, через которые они передают информацию окружению.
Главное новшество работы исследователей из Google заключалось в том, что они сделали всю эту цепочку шагов дифференцируемой. Ранее для оптимизации правил автоматов применялась нейроэволюция, но ей было тяжело справляться со сложными контролируемыми задачами вроде выращивания детального рисунка саламандры. Благодаря автоматическому дифференцированию и обратному распространению ошибки во времени (BPTT) стало возможно эффективно обучать клетки целенаправленной сборке.
Чтобы сделать систему по-настоящему устойчивой, авторы применяют ряд математических трюков:
- Стохастическое обновление: клетки активируются не одновременно, а с некоторой долей случайности.
- Динамическая длительность: автомат обучается работать стабильно независимо от того, сколько шагов симуляции прошло — 20 или 50.
- Остановка роста: критически важный навык, подсмотренный у биологических систем. Модель должна четко понимать, когда целевой орган или объект сформирован, и прекратить деление.
🏗️ От мягких роботов до Minecraft: эволюция морфогенеза в 3D 14:13
Основная слабость оригинального метода NCA, по мнению Риси, заключается в том, что цель всегда жестко задается человеком (например, картинка саламандры). В своей новой работе команда профессора объединила эволюционные алгоритмы и градиентный спуск. Эволюция отвечает за творческий поиск и генерацию разнообразия форм (например, трехногих мягких роботов для прыжков), а дифференцируемые нейронные автоматы делают эти формы ультра-отказоустойчивыми. В симуляции такому роботу можно полностью отрезать конечность, и благодаря заложенным правилам он самостоятельно запустит процесс регенерации и восстановит утраченную ногу.
Янник Кильхер поинтересовался, в каких реальных физических сценариях может пригодиться децентрализованное локальное общение, ведь в тех же автомобилях Tesla используется мощный центральный процессор. Себастьян Риси признает, что для беспилотников центральный контроль пока эффективнее, но указывает на другие перспективные сферы, граничащие с научной фантастикой:
- Самовосстанавливающиеся здания: материалы, способные автоматически фиксировать повреждения несущих конструкций и «заживлять» их аналогично человеческой коже.
- Медицинские нанороботы: рои микроскопических капсул, которые координируются исключительно локально, определяют форму опухоли или раны и трансформируются под конкретную задачу внутри организма.
- Распределенное зрение: концепция распределенного распознавания объектов, защищенная от состязательных (adversarial) атак за счет локального голосования множества независимых сенсоров.
Ученые уже перенесли эту технологию из симуляторов в физический мир, создав систему «самоклассифицирующихся бесконечных цифр». Из небольших электронных блоков собираются контуры цифр, и элементы, общаясь друг с другом, безошибочно определяют: «я — часть восьмерки» или «я — часть единицы».
Следующим шагом стало масштабирование морфогенеза в 3D-пространство игры Minecraft. Нейронный автомат успешно обучили с нуля выращивать сложные многоквартирные здания, причем все внутренние механизмы и функциональные ловушки внутри сгенерированных храмов работали идеально, без единой программной ошибки. В рамках организованного Риси конкурса Minecraft Open-Endedness Competition исследователи планируют обучать алгоритмы застройке целых городов, динамически адаптирующихся под рельеф: в маленькой коробке или ущелье вырастет компактное поселение, а на открытой равнине — мегаполис.
🧠 Генетическое бутылочное горлышко: выращивание нейросетей из «генома» 25:47
Одно из самых амбициозных направлений работы лаборатории Риси — применение клеточных автоматов для «выращивания» самих искусственных нейросетей (проект HyperNCA). Человеческий мозг не создается статичным, он формируется в процессе развития. Гость опирается на гипотезу «геномного бутылочного горлышка», сформулированную нейробиологом Тони Задором (Tony Zador). Ее суть в том, что ДНК человека содержит всего около 20 тысяч генов, но этот крошечный объем информации успешно управляет развитием мозга с триллионами синаптических связей.
Такое колоссальное сжатие данных, как считает Риси, заставляет эволюцию отсекать нежизнеспособные варианты и кодировать только те мета-правила, которые гарантируют высочайший уровень обобщения и адаптации к неизвестности. Роль подобного цифрового «генома» в их экспериментах выполняет компактный клеточный автомат. Развиваясь, он генерирует структуру весов для гораздо более крупной нейросети-агента, управляющей физическим телом робота в задачах обучения с подкреплением.
Более того, один и тот же компактный автомат (NCA) способен последовательно выращивать разные типы «мозгов» под изменяющиеся условия — эта концепция получила название «сети метаморфоз» (metamorphosis networks). В ходе тестов один цифровой геном успешно сгенерировал управляющие контроллеры для маленького, среднего и крупного четвероногого робота, избавляя инженеров от необходимости обучать каждую модель с нуля.
🗺️ Преодоление жестких целей: открытый поиск и адаптация длиною в жизнь 32:17
Традиционный градиентный спуск пасует перед децентрализованными системами из-за специфики их математического ландшафта. Как объясняет Себастьян Риси, ландшафт приспособленности (fitness landscape) в самоорганизующихся моделях имеет экстремально неровную структуру. Малейшее локальное изменение в поведении одной клетки вызывает нелинейный каскадный эффект во всей системе. По этой причине прямая оптимизация под конкретную цель здесь неэффективна.
Команда Риси делает ставку на алгоритмы «поиска разнообразия» (Quality Diversity) и метод MAP-Elites. Вместо максимизации одного показателя алгоритм ищет множество решений, радикально отличающихся друг от друга по своим поведенческим или структурным характеристикам. Такой подход требует больше вычислительных ресурсов, но позволяет успешно выходить из локальных оптимумов.
Главный недостаток современного Reinforcement Learning (RL), по мнению гостя, заключается в «замораживании» весов нейросети после окончания фазы обучения. Живой организм учится всю жизнь. Чтобы преодолеть этот барьер, ученые создали агентов, у которых базовые веса полностью случайны, но обучению подлежат исключительно локальные правила обновления синапсов — так называемые пластичные хеббовские связи.
Эксперименты показывают, что если во время выполнения задачи роботу заблокировать или ампутировать конечность, система с обученными правилами Хебба мгновенно перестраивает прохождение сигналов прямо «на лету», демонстрируя непрерывную адаптацию (lifetime learning) без необходимости дообучения на сервере. Именно в способности действовать в динамически меняющихся, агрессивных и абсолютно незнакомых средах и кроется, по словам Риси, главный потенциал децентрализованного ИИ.
🧩 В поисках здравого смысла: тесты ARC, Animal AI и советы молодым ученым 49:45
Обсуждая долгосрочные перспективы, собеседники отметили глубокую связь самоорганизующихся систем с бурно развивающимися графовыми нейросетями (GNN) и классическими самоорганизующимися картами Кохонена (SOM), которые моделируют топографические структуры коры головного мозга.
По мнению Себастьяна Риси, концепция генетического бутылочного горлышка может стать ключом к разгадке «здравого смысла» ИИ и помочь в прохождении сложнейших современных бенчмарков:
- ARC (Abstract Reasoning Corpus): знаменитый визуальный тест Франсуа Шолле (François Chollet), требующий от алгоритма улавливать абстрактные правила сборки паттернов по единичным примерам, где стандартные сверточные сети оказываются бессильны.
- Animal AI Benchmark: своеобразные олимпийские игры для ИИ, воссоздающие когнитивные задачи для животных и маленьких детей (например, понимание свойств физических объектов и умение использовать подручные инструменты).
- Alchemy (от DeepMind): сложная трехмерная мета-среда, где агенту необходимо эмпирическим путем разобраться в скрытой химии и логике игрового мира.
Для тех, кто хочет всерьез заняться изучением этой альтернативной ветви ИИ, профессор рекомендует начать с фундаментальной книги Мелани Митчелл (Melanie Mitchell) «Сложность: управляемая экскурсия» (Complexity: A Guided Tour), а также открыть Colab-ноутбуки из интерактивных статей Distill, чтобы лично поэкспериментировать с кодом растущих клеточных автоматов.
В финале встречи Себастьян Риси процитировал недавний совет патриарха глубокого обучения Джеффри Хинтона (Geoffrey Hinton):
«Если вы видите огромное количество умнейших людей, бегущих в одном направлении, разворачивайтесь и ищите свободную нишу».
Пока ИТ-гиганты сжигают миллиарды долларов на масштабирование языковых моделей (LLM), академическая наука на уровне университетов может совершать прорывные открытия в области компактных, эффективных и независимых от огромных серверных кластеров самосборных систем.
