# Джеффри Хинтон: «Мозг не использует обратное распространение ошибки»

Источник: https://www.youtube.com/watch?v=eEFOhoRmhEQ
Канал: Eye on AI
Опубликовано: 19.01.2023

---

## Эволюция нейросетей: Джеффри Хинтон об алгоритме Forward-Forward

[[JUMP:2:08]]

Джеффри Хинтон, пионер нейронных сетей и автор термина «глубинное обучение», представил новую модель обучения, которую он называет алгоритмом Forward-Forward (FF). В эксклюзивном интервью для канала Eye on AI ученый объясняет, почему традиционное обратное распространение ошибки (backpropagation), несмотря на свою колоссальную эффективность в современном ИИ, вряд ли является механизмом, с помощью которого работает человеческий мозг.

### Критика обратного распространения ошибки
[[JUMP:2:21]]

По словам Хинтона, backpropagation требует «идеальной модели» прямой системы, которая должна работать в обратном направлении, проходя сквозь нелинейности нейронов. Ученый утверждает, что для этого нет никаких нейробиологических свидетельств.

*   **Проблема «обратного потока»:** В глубоких сетях для изменения весов необходимо прогонять ошибку назад через все слои. В мозге нет доказательств передачи градиентов таким способом.
*   **Рекуррентные сети:** Обучение с backpropagation через время (backpropagation through time) в рекуррентных сетях требует остановки обработки данных для «отката» назад, что крайне неэффективно, особенно при работе с видеопотоком, который нельзя остановить или пустить вспять.

Хинтон подчеркивает, что отсутствие доказательств — это лишь полдела; технологически backpropagation нарушает принципы конвейерной обработки (pipelining), что делает его «беспорядком» в контексте биологических систем.

### Суть алгоритма Forward-Forward
[[JUMP:5:06]]

Идея алгоритма заключается в разделении обучения на два независимых этапа: «позитивную» и «негативную» фазы, что позволяет исключить необходимость в обратном прохождении градиентов.

1.  **Позитивная фаза (Online):** Сеть получает реальные данные. Задача каждого слоя — максимизировать активность нейронов, чтобы «узнать» реальный входной сигнал.
2.  **Негативная фаза (Offline, сон):** Сеть генерирует собственные данные («фантазии») и пытается минимизировать активность нейронов, чтобы отличить их от реальных.

Хинтон сравнивает это с генеративно-состязательными сетями (GAN), но с важным отличием: дискриминатор и генератор здесь используют одни и те же скрытые слои и веса, что устраняет ряд проблем, свойственных GAN.

### Обучение, 3D и «упрощенное» восприятие
[[JUMP:30:10]]

Хинтон полагает, что если алгоритм окажется верной моделью работы коры головного мозга, то восприятие глубины и 3D-природы реальности будет «эмерджентным» свойством.

*   **Структура из движения:** Младенцы обучаются понимать 3D-структуру из видеопотока буквально за несколько дней, тогда как стереозрение (бинокулярное) требует гораздо больше времени — до шести месяцев.
*   **Особенности обучения:** В отличие от методов вроде SimCLR, где сравниваются два представления, FF-алгоритм просто оценивает «согласие» всех входов, поступающих в слой, что биологически более оправдано.
*   **Ограничения:** На текущем этапе исследователь использует Matlab, предпочитая сначала разобраться в базовых свойствах алгоритма (например, генерации негативных данных), прежде чем масштабировать его на огромные системы.

### Сознание и «сущности»
[[JUMP:42:00]]

Обсуждая перспективу создания «сознательного» ИИ, Хинтон критикует философские дискуссии, называя их попыткой объяснить сложные механизмы через абстрактные «эссенции» — наподобие того, как раньше объясняли жизнь через «витальную силу» (élan vital).

*   **Ощущения как гипотеза:** По мнению Хинтона, когда мы говорим «у меня есть опыт розового слона», мы даем контрфактуальное описание: «в мире нет розового слона, но если бы он был, это объяснило бы состояние моего мозга».
*   **ИИ как субъект:** Хинтон уверен: когда большая нейросеть будет «воображать» что-то и описывать это, у неё будет столько же «перцептивных ощущений», сколько и у человека. Сознание, по его словам, — это не барьер скорости звука, а совокупность механизмов, которые ИИ постепенно освоит.