В современном ландшафте искусственного интеллекта доминирует парадигма абстрактных вычислений, требующая колоссальных энергетических затрат. Ведущий подкаста Machine Learning Street Talk Тим Скарф и директор Лаборатории нейроадаптивных вычислений Алекс Орбиа обсуждают концепцию «смертных вычислений» (mortal computation), которая неразрывно связывает программный код с физическим субстратом. Этот подход предлагает радикальную альтернативу традиционному машинному обучению, стремясь воссоздать энергетическую эффективность и адаптивность живого мозга.
🧠 Смертные вычисления против бессмертного софта 0:00
Профессор Алекс Орбиа развивает идеи биомиметического интеллекта, стремясь математически и вычислительно перенести принципы работы живых нейробиологических систем в симулируемые среды. Фундаментом этого направления стала его совместная работа с Карлом Фристоном «Mortal Computation: A Foundation for Biomimetic Intelligence». Сам термин «смертные вычисления» был предложен Джеффом Хинтоном в 2022 году в контексте алгоритма Forward-Forward. Орбиа значительно расширил эту концепцию, сформулировав её ключевое отличие от традиционного ИИ: в смертных вычислениях программное обеспечение невозможно отделить от аппаратного субстрата, на котором оно выполняется.
По оценкам Алекса Орбиа, современная индустрия больших языковых моделей (GPT) сопряжена с колоссальным углеродным следом, сопоставимым с масштабами целого города, тогда как человеческий мозг решает куда более сложные когнитивные задачи, потребляя всего несколько ватт энергии. Причиной такой неэффективности гость называет повсеместное использование «бессмертных вычислений». В рамках классической архитектуры фон Неймана программист пишет код, абстрагированный от железа. В результате данные постоянно перемещаются между различными слоями памяти (от жесткого диска и RAM до кэша CPU), на что на каждом этапе расходуются джоули энергии.
С точки зрения термодинамики, физические ограничения ИИ описываются пределом Ландауэра и неравенством Ярзинского, задающими минимальную энергетическую цену за изменение или стирание одного бита информации. Живые нейроны, как отмечает исследователь, не находятся строго на этом физическом пределе, но подошли к нему значительно ближе, чем любая современная кремниевая архитектура.
⛓️ Принцип свободной энергии и термодинамический императив 11:06
Главная методологическая проблема современного машинного обучения, по мнению Алекса Орбиа, заключается в отсутствии у алгоритмов внутреннего стимула к самосохранению. Смертные вычисления выступают как прямое следствие принципа свободной энергии (Free Energy Principle, FEP) Карла Фристона. Любая живая система стремится избежать термодинамической дезинтеграции и тепловой смерти, сохраняя свою внутреннюю идентичность вопреки флуктуациям внешней среды. При потере уникальной физической организации субстрата система окончательно погибает.
Орбиа и Фристон расширили классическую когнитивную четырехкомпонентную модель (4E-cognition: воплощенное, энактивное, расширенное и встроенное познание), добавив пятый элемент — «элементарное познание» (elementary cognition). Вдохновляясь работами биолога Майкла Левина, исследователи указывают на необходимость изучения простейших организмов, таких как бактерия E. coli, чтобы понять базовые принципы вычислений на клеточном уровне. Мышление и ментальные репрезентации жестко детерминированы морфологией тела: если бы у человека было больше конечностей, его когнитивные процессы были бы совершенно иными.
В контексте безопасности ИИ Орбиа выдвигает гипотезу, что смертные вычисления открывают реальный путь к выравниванию ценностей (value alignment). Если искусственная система способна физически ощущать боль, обладает проприоцепцией и напрямую заинтересована в сохранении своей материальной структуры, внутри неё может возникнуть подлинная эмпатия к человеку, также борющемуся за выживание.
Математическим аппаратом для описания этих границ служат марковские оболочки (Markov blankets), обеспечивающие независимость внутренних состояний системы от внешних пертурбаций. В концепции Орбиа марковские оболочки вложены друг в друга иерархически:
- На микроуровне оболочкой служит клеточная мембрана, регулирующая энергообмен и выводящая токсины.
- На макроуровне они формируют сложные организмы и целые экологические ниши.
Система функционирует как кибернетический регулятор среды, подчиняющийся теореме Роджера-Эшби о хорошем регуляторе и закону необходимого разнообразия. Поддержание стабильности обеспечивается механизмами гомеостаза, предсказательного аллостаза и аутопоэза — непрерывного обновления и регенерации элементов морфологии.
🔄 Три шкалы времени: модель MILLS 24:35
Магистральным вычислительным ядром смертных вычислений Орбиа и Фристон называют модель MILLS (Mortal Inference, Learning, and Selection). Оптимизация вариационной свободной энергии в ней разнесена на три циклически связанные шкалы времени:
- Умозаключение (Inference): Самый быстрый процесс, работающий на микроуровне кратковременной пластичности, где динамика нейронов следует за градиентным потоком свободной энергии.
- Обучение (Learning): Более медленная шкала времени, отвечающая за синаптическую пластичность и кодирование долгосрочного опыта через модифицированные правила Хебба.
- Структурный отбор (Selection): Самый медленный процесс, включающий в себя синаптический прунинг, синаптогенез и гибель нейронов.
В отличие от классических глубоких сетей вроде ChatGPT, где архитектура и связи жестко зафиксированы после этапа обучения, биологический ИИ демонстрирует непрерывную эволюцию самой структуры («динамика на структуре»). Орбиа критикует современную практику применения Kalman-фильтров и алгоритмов поиска архитектур (NAS), называя их лишь искусственными «надстройками», оптимизирующими фиксированные матрицы переходов, вместо реализации полноценного структурного отбора.
Естественным воплощением быстрого уровня умозаключений гость считает прогностическое кодирование (predictive coding). В этой схеме группы нейронов постоянно генерируют предсказания относительно активности соседних узлов, вычитают их из реальных сигналов и передают по иерархии исключительно получившуюся ошибку предсказания. Такой подход автоматически обеспечивает полную параллельность и асинхронность вычислений, избавляя систему от необходимости координироваться по единым центральным часам (тактовому генератору).
🚫 Критика Backpropagation и альтернативная таксономия 42:39
Алекс Орбиа выступает одним из самых жестких критиков алгоритма обратного распространения ошибки (backpropagation), доминирующего в IT-индустрии. Проблема классического backprop заключается в том, что для корректировки весов сеть должна прогнать данные слева направо, зафиксировать значение функции потерь, а затем заблокировать вычисления и пойти в обратную сторону — справа налево. Это требует идеальной гладкой дифференцируемости всех математических операций, что полностью исключает биологическое правдоподобие.
Нейробиология, напротив, опирается на принцип локальности пластичности во времени и пространстве. Синапс между пресинаптическим и постсинаптическим нейронами обновляется исключительно на основе локальной статистики их активности в данный момент времени. Особенно критично backprop демонстрирует несостоятельность при обучении рекуррентных нейросетей (RNN): алгоритм BPTT (Backpropagation Through Time) вынужден виртуально разворачивать сеть в прошлое, создавая гигантские временные копии, что влечет за собой абсурдные требования к памяти.
Для систематизации альтернативных подходов Орбиа разработал собственную таксономию биологического обучения, основанную на источнике обучающих сигналов. Классификация включает следующие базовые координаты:
- Синергетические и несинергетические алгоритмы: Определяют наличие координации между слоями без жесткой последовательной блокировки.
- Явные (Explicit) и неявные (Implicit) сигналы: Указывают, генерирует ли архитектура конкретное целевое значение для каждого слоя или полагается на скрытые фазовые сдвиги.
В рамках этой таксономии прогностическое кодирование относится к категории синергетических явных алгоритмов. Метод рециркуляции Джеффа Хинтона, использующий автокодировщики, классифицируется как несинергетический. Контрастивное обучение Хебба (Contrastive Hebbian learning) признано синергетическим, но неявным подходом: сеть обучается в две фазы — позитивную (с внешним стимулом) и свободную негативную (когда система буквально «галлюцинирует» без учителя, а затем алгоритм наказывает за эти конфабуляции, минимизируя расхождение). К этой же группе примыкают энергетические модели, восходящие к сетям Хопфилда, машинам Больцмана со стохастическим шумом и методу Equilibrium Propagation Йошуа Бенджио.
🛠️ Фреймворк NGC-Learn и проблема стабильности 58:30
Одной из фундаментальных уязвимостей классического ИИ является дилемма стабильности-пластичности, приводящая к катастрофическому забыванию (catastrophic forgetting). Если обучить глубокую сеть распознавать кошек и собак, а затем переключить её на автомобили, веса перезапишутся, разрушив предыдущий навык.
Чтобы преодолеть этот барьер, Лаборатория нейроадаптивных вычислений под руководством Орбиа воспроизвела архитектуру базальных ганглиев мозга. Ученые объединили прогностический корковый контур с моделью конкурентного обучения, выполняющей роль динамического диспетчера ресурсов. Базальные ганглии в этой схеме точечно включают и выключают определенные нейроны в зависимости от контекста задачи. Как утверждает исследователь, этот биологический трюк позволил полностью ликвидировать катастрофическое забывание, превзойдя по стабильности стандартный backprop. В качестве инструмента генерации подобных морфологий Орбиа также предлагает использовать методы нейроэволюции, такие как алгоритм NEAT Кеннета Стэнли.
Для практического моделирования таких сред лаборатория создала открытую программную экосистему NGC-Learn, написанную на языках Python и Jax от Google. Фреймворк оперирует не абстрактной линейной алгеброй, а напрямую решает системы обыкновенных дифференциальных уравнений (ODE), описывающих реальную динамику спайков и мембранных потенциалов. Продукт призван сделать для вычислительной нейробиологии то же, что PyTorch и TensorFlow сделали для традиционного глубокого обучения.
🔌 Аппаратные тупики и будущее в латентном пространстве 1:07:01
Главным бутылочным горлышком биологически правдоподобного ИИ на сегодняшний день выступает отсутствие адекватного железа. Из-за тотальной монополии графических процессоров (GPU), аппаратно оптимизированных под последовательное перемножение матриц, асинхронные спайковые сети приходится симулировать программно. В результате на традиционных серверах они работают существенно медленнее, чем неэффективный backprop.
Существующие нейроморфные процессоры — такие как чип Loihi 2 от Intel или TrueNorth от IBM — реализуют концепцию вычислений в памяти (in-memory processing). В этих архитектурах синаптические веса физически проецируются на мемристорные кроссбары, где изменение проводимости естественным образом имитирует биологическую пластичность за счет физических законов переноса заряда. Лаборатория Орбиа разработала компилятор NGC-Lava для прямой трансляции кода NGC-Learn в микрокод Loihi 2, однако гость сетует на колоссальный порог входа и отсутствие демократизации: нейроморфные фабрики дороги, а облачный доступ к ним жестко ограничен. Еще более экзотические платформы, вроде биотических конструктов (органоидный интеллект на стволовых клетках или ксеноботы Майкла Левина), пока остаются штучными лабораторными артефактами.
Тем не менее, математические принципы доказывают свою жизнеспособность. В своей фундаментальной работе по нейральному генеративному кодированию (Neural Generative Coding, NGC) Орбиа продемонстрировал архитектуру с разделенными петлями обратной связи, обученную по правилам Хебба. Сеть успешно синтезировала рукописные цифры MNIST и японские иероглифы кандзи, введя белый шум в верхние латентные слои. На момент публикации NGC превзошла по метрикам генерации классические вариационные автокодировщики (VAE) и генеративно-состязательные сети (GAN), доказав, что биологические алгоритмы могут конкурировать с градиентным спуском.
В качестве финального прогноза Алекс Орбиа выделяет концепцию предсказания в латентном пространстве, созвучную с недавними идеями Яна Лекуна. Прямое моделирование сырых сенсорных пикселей неэффективно. Перенос вычислений на скрытые абстрактные репрезентации позволяет полностью решить известную в обучении с подкреплением «проблему шумного телевизора» (noisy TV problem), когда агент бесконечно отвлекается на фоновые помехи среды и застревает в развитии. Объединение прямого контрастивного обучения (forward-only) с механизмами консолидации памяти в режиме сна и бодрствования (wake-sleep) видится исследователю ключевым шагом к созданию автономного ИИ нового поколения.
