Эволюция нейросетей: Джеффри Хинтон об алгоритме Forward-Forward 2:08
Джеффри Хинтон, пионер нейронных сетей и автор термина «глубинное обучение», представил новую модель обучения, которую он называет алгоритмом Forward-Forward (FF). В эксклюзивном интервью для канала Eye on AI ученый объясняет, почему традиционное обратное распространение ошибки (backpropagation), несмотря на свою колоссальную эффективность в современном ИИ, вряд ли является механизмом, с помощью которого работает человеческий мозг.
Критика обратного распространения ошибки 2:21
По словам Хинтона, backpropagation требует «идеальной модели» прямой системы, которая должна работать в обратном направлении, проходя сквозь нелинейности нейронов. Ученый утверждает, что для этого нет никаких нейробиологических свидетельств.
- Проблема «обратного потока»: В глубоких сетях для изменения весов необходимо прогонять ошибку назад через все слои. В мозге нет доказательств передачи градиентов таким способом.
- Рекуррентные сети: Обучение с backpropagation через время (backpropagation through time) в рекуррентных сетях требует остановки обработки данных для «отката» назад, что крайне неэффективно, особенно при работе с видеопотоком, который нельзя остановить или пустить вспять.
Хинтон подчеркивает, что отсутствие доказательств — это лишь полдела; технологически backpropagation нарушает принципы конвейерной обработки (pipelining), что делает его «беспорядком» в контексте биологических систем.
Суть алгоритма Forward-Forward 5:06
Идея алгоритма заключается в разделении обучения на два независимых этапа: «позитивную» и «негативную» фазы, что позволяет исключить необходимость в обратном прохождении градиентов.
- Позитивная фаза (Online): Сеть получает реальные данные. Задача каждого слоя — максимизировать активность нейронов, чтобы «узнать» реальный входной сигнал.
- Негативная фаза (Offline, сон): Сеть генерирует собственные данные («фантазии») и пытается минимизировать активность нейронов, чтобы отличить их от реальных.
Хинтон сравнивает это с генеративно-состязательными сетями (GAN), но с важным отличием: дискриминатор и генератор здесь используют одни и те же скрытые слои и веса, что устраняет ряд проблем, свойственных GAN.
Обучение, 3D и «упрощенное» восприятие 30:10
Хинтон полагает, что если алгоритм окажется верной моделью работы коры головного мозга, то восприятие глубины и 3D-природы реальности будет «эмерджентным» свойством.
- Структура из движения: Младенцы обучаются понимать 3D-структуру из видеопотока буквально за несколько дней, тогда как стереозрение (бинокулярное) требует гораздо больше времени — до шести месяцев.
- Особенности обучения: В отличие от методов вроде SimCLR, где сравниваются два представления, FF-алгоритм просто оценивает «согласие» всех входов, поступающих в слой, что биологически более оправдано.
- Ограничения: На текущем этапе исследователь использует Matlab, предпочитая сначала разобраться в базовых свойствах алгоритма (например, генерации негативных данных), прежде чем масштабировать его на огромные системы.
Сознание и «сущности» 42:00
Обсуждая перспективу создания «сознательного» ИИ, Хинтон критикует философские дискуссии, называя их попыткой объяснить сложные механизмы через абстрактные «эссенции» — наподобие того, как раньше объясняли жизнь через «витальную силу» (élan vital).
- Ощущения как гипотеза: По мнению Хинтона, когда мы говорим «у меня есть опыт розового слона», мы даем контрфактуальное описание: «в мире нет розового слона, но если бы он был, это объяснило бы состояние моего мозга».
- ИИ как субъект: Хинтон уверен: когда большая нейросеть будет «воображать» что-то и описывать это, у неё будет столько же «перцептивных ощущений», сколько и у человека. Сознание, по его словам, — это не барьер скорости звука, а совокупность механизмов, которые ИИ постепенно освоит.
