Биологически правдоподобные нейронные сети: путь к истинному ИИ 0:02
Современные нейронные сети достигли впечатляющих успехов, однако они по-прежнему фундаментально ограничены в своей способности к глубокому пониманию мира. Д-р Саймон Стрингер, директор Оксфордского центра теоретической нейробиологии и искусственного интеллекта, утверждает, что для создания искусственного общего интеллекта (AGI) необходимо отойти от упрощенных моделей и обратиться к принципам работы биологического мозга. Ключевой идеей Стрингера является то, что сложное самоорганизующееся поведение и богатые семантические представления возникают только из низкоуровневой динамики нейронов, которую нынешние архитектуры игнорируют.
🧠 Почему «биологическая правдоподобность» — это компас? 13:04
Многие инженеры стремятся избежать ограничений биологии, считая их лишними барьерами. Стрингер, напротив, рассматривает биологию как «знак качества», указывающий путь к решению сложнейших задач, включая природу самого сознания.
- Комплексные системы: Мозг — это система взаимодействующих элементов, чье поведение на системном уровне является эмерджентным (возникающим в результате взаимодействий).
- Ограничения как ориентиры: Локальная пластичность (изменение силы синапсов) в мозге опирается на локально доступные биологические величины, такие как частота и время разрядов (спайков), а не на глобальные градиенты, используемые в традиционных сетях.
- Игнорирование динамики: Нынешние сверточные нейронные сети (CNN) работают по принципу «слева направо», не имея циклической обработки или точного кодирования времени, что делает их «невыразимо далекими» от реальности мозга.
⏱️ Временное кодирование и решение проблемы связывания 2:11
Центральная проблема, над которой работает лаборатория Стрингера, — это «проблема связывания признаков» (feature binding problem). Она заключается в том, как визуальная система понимает, что различные признаки (линии, формы, цвета) принадлежат одному и тому же объекту в иерархии.
- Спайковая динамика: Реальные нейроны общаются через электрические импульсы — спайки. Стрингер подчеркивает важность временного кодирования (temporal encoding), где информация заложена не просто в частоте импульсов, а в их точном времени.
- Полихронизация: В спайковых сетях через механизмы пластичности (STDP — спайк-зависимая пластичность) возникают паттерны импульсов, которые Стрингер называет «полихронизацией». Нейроны связываются в группы, реагирующие на определенные структуры во времени.
- Трехнейронные цепи связывания: Это базовый механизм, который моделирует Стрингер. В такой цепи «нейрон связывания» активируется только тогда, когда два нижестоящих признака (например, линия и форма) действительно связаны в иерархическом контексте.
🌍 От случайных картинок к «голографическому» восприятию 16:16
Стрингер утверждает, что мозг использует обучение без учителя (unsupervised learning) для построения представлений. Его модели демонстрируют, как сеть, «наблюдая» за миром (например, просто поворачивая голову), сама начинает различать объекты, их части и геометрические отношения.
- Инвариантность: Используя механизмы непрерывного трансформационного обучения (continuous transformation learning) и трассировочного обучения (trace learning), нейроны обучаются узнавать объект независимо от его поворота, масштаба или положения на сетчатке.
- Голографический принцип: В отличие от обычных сетей, которые на выходе выдают только категорию (например, «это кошка»), модели Стрингера сохраняют информацию об иерархических отношениях признаков на всех уровнях. Это придает восприятию семантическую богатность, соответствующую человеческому опыту.
- Против состязательных атак: Одной из причин, почему текущие CNN легко обмануть шумом, является отсутствие этого иерархического связывания признаков. Стрингер предполагает, что внедрение «связывающих нейронов» сделает модели гораздо устойчивее к таким атакам.
🐭 Уроки для AGI: навигация и каузальность 47:13
Чтобы понять, как строить агентов будущего, Стрингер обращается к психологии 1930-х годов, в частности к работам Эдварда Толмена. Даже у крыс есть способность строить «когнитивные карты» среды и использовать их для принятия решений.
- Пространственная навигация: В моделировании агентов важную роль играют «клетки места» (place cells) и «клетки направления головы» (head direction cells). Эти структуры возникают в сети автоматически, если включить в обучение сигналы о собственном движении (идиотические сигналы: скорость и повороты головы).
- Моделирование мира: Стрингер считает, что мы нуждаемся в генеративных моделях, которые позволяют предсказывать, что произойдет в мире. Это согласуется с идеями «свободной энергии» (по Фристону), где агент сравнивает свои внутренние прогнозы с реальностью.
