В современном мире искусственного интеллекта архитектура трансформеров, созданная в Google в 2017 году, стала золотым стандартом, однако многие эксперты полагают, что она вплотную приблизилась к своим теоретическим и практическим пределам. В новом выпуске подкаста Eye on AI знаменитый нейроучёный Карл Фристон (Karl Friston) и команда стартапа Verses представляют альтернативный подход — архитектуру Axiom, основанную на физических принципах работы человеческого мозга и принципе свободной энергии.
🧠 Новая парадигма: от статистики к физике интеллекта 1:06
Современные модели ИИ сталкиваются с проблемами огромного потребления памяти, трудностями в обобщении знаний и ограничениями в логических рассуждениях . По словам ведущего, новые релизы популярных моделей демонстрируют лишь инкрементальные улучшения, что заставляет исследователей искать принципиально иные архитектуры. Одним из лидеров этого движения является компания Verses, где пост главного научного сотрудника занимает Карл Фристон — самый цитируемый нейроучёный в мире и автор принципа свободной энергии (Free Energy Principle, FEP) .
Архитектура Axiom, разрабатываемая в Verses, призвана воплотить идеи Фристона в коде. В отличие от традиционных моделей, которые полагаются на запоминание огромных массивов данных, Axiom имитирует биологические системы, постоянно минимизируя «сюрприз» (разницу между прогнозом и реальностью) . Как утверждает Карл Фристон, это амбициозная попытка обосновать интеллект не на статистике, а на законах физики .
🧪 Физика свободной энергии и наследие Фейнмана 6:07
Термин «свободная энергия» в контексте ИИ часто вызывает путаницу, так как он заимствован из термодинамики, но используется в информационном смысле. Фристон поясняет, что их математическая модель опирается на «вариационную свободную энергию» — концепцию, восходящую к работам Ричарда Фейнмана по квантовой электродинамике .
Основные тезисы Фристона о природе свободной энергии:
- Путь наименьшего действия: Фейнман решал задачу поиска наиболее эффективных путей движения частиц. В Verses эту идею применяют для поиска наиболее эффективных путей обработки информации .
- Оптимизация вместо интеграции: Сложные математические проблемы превращаются в задачи оптимизации, что позволяет системе работать быстрее .
- Бритва Оккама: Функция стоимости в Axiom включает энтропийный член. Это не позволяет модели «переобучаться» (overfitting), заставляя её искать максимально простые, но точные объяснения данных .
По мнению Фристона, принцип свободной энергии является универсальной целевой функцией. Она заставляет нейронные сети быть настолько эффективными, насколько это возможно, минимизируя усилия по изменению «мнения» модели при столкновении с новыми данными .
🏥 Мозг как машина логического вывода 14:05
В нейронауке мозг рассматривается как система, постоянно предсказывающая сенсорный вход. Если прогноз совпадает с реальностью, «свободная энергия» равна нулю. Если возникает ошибка (прогноз не совпал), это становится «новостью» для системы, заставляя её обновлять свою внутреннюю модель мира .
Фристон предлагает радикальный взгляд на психическое здоровье:
- Психические расстройства как ошибки вывода: По мнению учёного, все ментальные заболевания можно понимать как «ложный вывод» (false inference) .
- Ошибки первого типа: Мозг видит то, чего нет (галлюцинации и бред) .
- Ошибки второго типа: Мозг не замечает того, что реально существует (синдромы игнорирования, диссоциативные расстройства) .
Процесс обновления «мнения» в мозге происходит каждые 100 миллисекунд по мере взаимодействия с миром . Это отличается от процесса обучения (learning), который занимает гораздо больше времени.
⚡ Почему Backpropagation уступает биологии 19:30
Одной из главных проблем современного ИИ является алгоритм обратного распространения ошибки (backpropagation). По словам Фристона, этот метод никогда не был подтверждён как биологический процесс, происходящий в мозге .
Основные отличия биологического обучения от машинного (по Фристону):
- Локальность: В мозге сообщения передаются между соседними слоями иерархии локально. В нейросетях ошибка должна пройти через всю сеть сверху донизу, что крайне неэффективно .
- Вероятности вместо весов: В классических ИИ-моделях узлы имеют фиксированные веса. В архитектуре Axiom каждый узел представляет собой вероятностное распределение (байесовское убеждение). Это позволяет системе понимать собственную неуверенность .
- Precision (Точность): Модели Axiom оперируют не просто значениями, а степенью уверенности в этих значениях. Это «защищает» систему от галлюцинаций, так как она «знает, чего она не знает» .
📈 Эффективность Axiom: цифры и бенчмарки 30:14
Результаты тестирования архитектуры Axiom, по данным Фристона, показывают впечатляющий отрыв от традиционного обучения с подкреплением (Deep Reinforcement Learning):
- Производительность: Улучшение показателей на бенчмарках на 60% .
- Вычислительные затраты: Axiom использует всего 3% вычислительной мощности, необходимой для аналогичных задач в традиционных моделях .
- Энергоэффективность: Фристон приводит наглядное сравнение: «Мы с вами можем вести машину, потребляя всего 20 ватт энергии, в то время как для обучения большой языковой модели может потребоваться атомная электростанция» .
- Выборка: Модель требует лишь небольшую фракцию данных по сравнению с огромными датасетами LLM .
🔄 Решение проблемы «катастрофического забывания» 36:36
Одной из «болей» современных нейросетей является невозможность непрерывного обучения: новые данные часто стирают старые знания. Архитектура Verses решает это через динамическое изменение структуры модели .
Система способна самостоятельно «выращивать» дополнительные слои или узлы, когда сталкивается с объектами, которые никогда не видела ранее. По мнению Фристона, это математический аналог естественного отбора: природа уже провела «байесовский выбор моделей», создав нас как доказательство существования обобщённого интеллекта .
🌍 Спор с Яном Лекуном: воплощение и смысл 45:59
Фристон во многом согласен с Яном Лекуном (Yann LeCun) в том, что ИИ никогда не достигнет человеческого уровня, просто читая текст в интернете. По словам учёного, чтобы слова обрели смысл, агент должен быть воплощённым (embodied) и находиться в физическом взаимодействии с миром .
Однако Фристон не отрицает полезность трансформеров:
- Гибридные модели: Он предполагает создание «глубокого активного вывода» (Deep Active Inference), где стандартные нейросети используются для быстрого маппинга контента в вероятностные убеждения .
- Язык как интерфейс: LLM могут служить для «трансляции» того, что думает и планирует агент активного вывода, делая его внутренние состояния доступными для человека .
🚕 Практическое применение: такси и роботы 55:09
Технология уже находит применение в реальном бизнесе. В качестве примера приводится сотрудничество с компанией Analogic по оптимизации работы такси:
- Система анализирует трафик, местоположение водителей и даже такие факторы, как приезд Тейлор Свифт в город .
- В симуляции подход активного вывода позволил увеличить количество поездок на 30% .
В области робототехники команда R&D Verses продемонстрировала, как робот может убирать комнату или доставать молоко из холодильника без предварительного жесткого программирования каждой детали движения. Робот «выводит» (infers) необходимость открыть дверь холодильника, чтобы снизить неопределенность относительно наличия молока .
🎓 Будущее исследований 1:00:06
Фристон отмечает, что активный вывод уже стал «стандартной моделью» в нейронауке, но в индустрии ИИ это всё ещё молодая область . В Калифорнии создан Институт активного вывода (Active Inference Institute), проводятся ежегодные международные воркшопы, хотя они пока значительно меньше таких гигантов, как NeurIPS .
Сам Карл Фристон с прошлого года перешёл на режим «гибкого выхода на пенсию» (80% занятости в университете), а большинство его талантливых учеников теперь работают в Verses, что он называет одной из главных причин своей приверженности компании .
