# Возможен ли бэкпроп в мозге? Разбор гипотезы Джеффри Хинтона Источник: https://www.youtube.com/watch?v=a0f07M2uj_A Канал: Yannic Kilcher Опубликовано: 20.04.2020 --- Известный исследователь искусственного интеллекта и блогер Янник Килчер (Yannic Kilcher) представил детальный разбор примечательной научной работы, среди авторов которой значится один из «крестных отцов» глубокого обучения Джеффри Хинтон. Публикация предлагает оригинальную гипотезу о том, как человеческий мозг может реализовывать алгоритм обратного распространения ошибки (backpropagation), несмотря на давние скептические убеждения научного сообщества. Этот материал не только проливает свет на загадки биологического обучения, но и предлагает новые архитектурные решения для искусственных нейросетей. ## 🧠 Как учатся нейронные сети: от Хебба до обратного распространения [[JUMP:0:00]] В начале обзора Янник Килчер отмечает, что статья «Backpropagation and the brain», написанная коллективом авторов (Тимоти Лилликрап, Адам Санторо, Люк Маррис, Колин Акерман и Джеффри Хинтон), является необычной для традиционного сообщества машинного обучения. Тем не менее она вызывает огромный интерес, во многом благодаря авторитету Хинтона. Центральный вопрос исследования — как именно обучаются нейронные сети в живом мозге, учитывая, что в биологии существует множество различных путей передачи сигналов. Для понимания контекста ведущий описывает базовую схему работы простейшей сети, где двухмерный входной сигнал через систему взвешенных связей отображается в трехмерный скрытый слой, проходит через нелинейную функцию активации и передается дальше к выходу. На основе этой структуры Янник Килчер выделяет три фундаментально разных механизма обучения: * **Обучение по Хеббу (Hebbian learning):** этот процесс полностью автономен и не требует обратной связи от внешнего мира. Нейроны просто обновляют свои синаптические связи так, чтобы соответствовать собственным предыдущим активациям или усиливать их. Это саморегулирующийся и самонаводящийся процесс, который, однако, не позволяет эффективно обучаться сложным паттернам реального мира без внешних стимулов. * **Обучение через пертурбации (Perturbation learning):** данный подход уже использует обратную связь, когда выходной сигнал (например, команда двигательному нейрону забить гвоздь) сталкивается с реальностью. Ошибка здесь представляет собой одно скалярное число — маркер того, насколько плох или хорош был результат. Главный минус заключается в полном отсутствии индивидуальной «ответственности» нейронов: вся сеть наказывается или поощряется одинаково (диффузным облаком), из-за чего подстройка весов методом случайного шума происходит крайне медленно. * **Обратное распространение ошибки (Backpropagation):** в отличие от пертурбаций, этот алгоритм задействует полноценную векторную обратную связь. Посредством обратных вычислений и прохождения градиента каждый конкретный нейрон в каждом слое получает точную персональную инструкцию, в какую сторону и на какую величину ему нужно изменить свои внутренние параметры, чтобы минимизировать общую ошибку. Благодаря детальным индивидуальным инструкциям для каждого узла, бэкпроп обеспечивает гораздо более быструю, плавную и эффективную траекторию оптимизации по сравнению с другими методами. ## 🔬 Сходство представлений и улики в пользу бэкпропа [[JUMP:11:53]] Долгое время в научном сообществе доминировало мнение, что обратное распространение ошибки невозможно в биологических системах, поэтому предполагалось, что мозг использует разновидности медленного пертурбационного обучения. Однако авторы статьи приводят сильные контраргументы. Янник Килчер указывает на серию изящных экспериментов, в которых искусственные нейросети и живой мозг животных обучались выполнению одних и тех же задач. Исследователи сопоставили внутренние скрытые представления (hidden representations) в живых и искусственных структурах. По словам ведущего, результаты оказались поразительными: внутренние паттерны активации в сетях, обученных с помощью бэкпропа, совпали с биологическими репрезентациями значительно сильнее, чем в моделях, использовавших альтернативные алгоритмы. Данный факт служит весомым косвенным доказательством того, что человеческий мозг на каком-то уровне вычисляет процессы, эквивалентные обратному распространению ошибки. ## 🛑 Почему бэкпроп считался биологически невозможным [[JUMP:13:28]] Несмотря на очевидное сходство результатов, прямое перенесение алгоритмов машинного обучения на биологическую ткань долгое время считалось невозможным. Янник Килчер выделяет две ключевые проблемы, которые блокировали признание бэкпропа нейробиологами: 1. **Проблема синаптической симметрии:** классический бэкпроп требует, чтобы веса связей на обратном пути передачи ошибки математически точно соответствовали весам на прямом проходе. В реальном мозге нейроны имеют строгую полярность: сигналы собираются дендритами и передаются по аксону. Обратный ход сигнала по той же структуре либо невозможен, либо происходит слишком медленно, что исключает точную симметрию. 2. **Природа и кодирование сигналов ошибки:** градиенты в искусственных сетях — это знаковые величины (они могут быть как положительными, так и отрицательными) и порой принимают экстремальные значения. Биологические нейроны кодируют информацию частотой электрических импульсов (spiking rates), где ноль — это физический предел отсутствия сигнала, а «отрицательной частоты» не существует. Кроме того, Янник Килчер обращает внимание на концептуальное различие типов данных: при прямом проходе передаются импульсы активации, а при обратном — математические дельты и градиенты. В биологии нет свидетельств того, чтобы одни и те же нейроны могли на лету кардинально менять тип транслируемой информации. ## 🔄 Гипотеза N-Grad: инверсия вместо переноса ошибки [[JUMP:18:06]] Для преодоления этих фундаментальных противоречий авторы статьи выдвинули так называемую гипотезу N-Grad. Ее суть заключается в том, что мозг способен аппроксимировать алгоритм обратного распространения, используя каскады механизмов, аналогичных автокодировщикам (autoencoders). Классический автокодировщик стремится сжать входные данные через скрытые слои, а затем максимально точно реконструировать их на выходе. Если представить цепочку таких структур, то вместо математического проброса дельт ошибок назад во времени и пространстве, можно попытаться инвертировать сами функции слоев. Предположим, что для каждой прямой функции слоя $F$ существует идеальная обратная функция-инвертор $G$. Если на самом верхнем (выходном) слое нам известна ошибка, вызванная несоответствием реальности, мы можем определить наше *желаемое* идеальное состояние. Используя инвертор $G$, сеть способна рассчитать, каким именно должно было быть скрытое представление на предыдущем слое, чтобы на выходе получился правильный результат. Главное преимущество такого подхода, как подчеркивает Янник Килчер, состоит в том, что и функция $F$, и функция $G$ оперируют исключительно сигналами активации. Здесь нет абстрактных градиентов или знаковых дельт — все значения остаются положительными, легко кодируются частотой импульсов живых нейронов, а само обучение опирается только на локальную информацию внутри конкретного слоя. ## 🛠️ Алгоритм коррекции приближенной инверсии [[JUMP:25:36]] Поскольку в реальном мире идеальной математической инверсии $G$ не существует, авторы работы разработали модифицированный алгоритм, способный эффективно работать с приближенным, несовершенным инвертором. Процесс коррекции ошибки строится следующим образом: * **Прямой шаг:** входной сигнал транслируется вперед через последовательность функций $F$. * **Двойное инвертирование:** чтобы понять, насколько сильно ошибается текущий приближенный инвертор $G$, сеть берет полученный результат прямого прохода и дважды пропускает его через функцию $G$. Это позволяет замерить внутреннюю погрешность механизма инверсии. * **Коррекция цели:** зная ошибку инвертора, сеть модифицирует целевое скрытое представление, делая поправку на неидеальность обратных связей. В итоге веса прямого прохода обновляются так, чтобы реальные активации стремились к скорректированным целевым значениям. Одновременно с этим обновляются и веса обратного прохода (параметры функции $G$): их цель — сделать инверсию еще более точной. Янник Килчер акцентирует внимание на том, что эта схема блестяще решает биологические ограничения: данные однородны, синаптическая симметрия не требуется, а все расчеты проводятся локально. ## 🧬 Биологическое воплощение и новый взгляд на нейроны [[JUMP:31:20]] В финальной части разбора ведущий затрагивает вопрос о том, как подобные математические трюки могут быть реализованы на уровне живых клеток. Исторический, упрощенный взгляд на нейрон как на простейший сумматор сигналов давно устарел. Современная вычислительная нейробиология демонстрирует, что структура нейрона невероятно дифференцирована. Различные области сомы (тела клетки) и дендритного дерева могут быть функционально изолированы друг от друга. Это позволяет клетке одновременно принимать прямые сигналы и сигналы обратной связи, обрабатывать их независимо и осуществлять сложные интерференции с участием интернейронов. Хотя Янник Килчер честно признает, что не является экспертом в тонкостях биологии живых тканей, предложенная авторами архитектурная гипотеза кажется ему чрезвычайно красивым и элегантным преодолением многолетнего тупика в теории когнитивного обучения.