# Как нейроморфные чипы преодолевают кризис архитектуры фон Неймана

Источник: https://www.youtube.com/watch?v=7jDyut_d71M
Канал: The TWIML AI Podcast
Опубликовано: 01.08.2022

---

Современные системы искусственного интеллекта сталкиваются с серьезным барьером энергоэффективности из-за ограничений классической архитектуры фон Неймана. В интервью для The TWIML AI Podcast исследователь Мелика Пайванд (Melika Payvand) объясняет, как преодолеть этот кризис с помощью совместного проектирования алгоритмов и нейроморфного оборудования. Перенос вычислений непосредственно в физическую структуру памяти позволяет создавать миниатюрные и сверхэффективные устройства для непрерывного онлайн-обучения прямо на «краю» сети (on the edge).

## 🧠 Нейроморфная инженерия против архитектуры фон Неймана
[[JUMP:01:07]]

Мелика Пайванд имеет бэкграунд в области электротехники. Свою докторскую степень (PhD) она получила в Калифорнийском университете в Санта-Барбаре, где занималась проектированием аналоговых и смешанных интегральных схем (VLSI-чипов). В ходе исследований она работала над интеграцией кремниевых технологий с новыми типами резистивной памяти (мемристорами), которые способны менять свое сопротивление под воздействием электрических импульсов и сохранять его энергонезависимым образом. Главная особенность таких элементов — их наноразмер и возможность трехмерной интеграции прямо поверх кремниевых транзисторов, что открывает колоссальные возможности для аппаратных ускорителей ИИ.

В традиционных вычислительных системах (включая современные CPU и GPU) используется архитектура фон Неймана, где модули обработки данных и модули памяти физически разделены. Как подчеркивает исследователь, большая часть энергии и времени при обучении и работе нейросетей тратится на постоянную «перекачку» (shuttling) информации между процессором и памятью. Нейроморфная инженерия предлагает принципиально иной подход, вдохновленный биологическим мозгом, где память и обработка данных совмещены на уровне субстрата. В мозге нет операционной системы — сама физическая структура органа и есть алгоритм, выполняющий вычисления.

Использование мемристоров позволяет реализовать концепцию вычислений в памяти (in-memory computing) благодаря базовым законам физики:

* Веса нейросети сопоставляются с проводимостью мемристоров.
* Входные данные подаются в виде напряжения.
* Согласно закону Ома, умножение напряжения на проводимость сразу дает значение тока.
* Согласно закону Кирхгофа, параллельные токи суммируются, обеспечивая выполнение операции Multiply-and-Accumulate (MAC) — ключевой математической основы нейросетей.

## 🔋 Зачем переносить обучение на «край» сети
[[JUMP:05:45]]

Современный ИИ требует экспоненциального роста объемов данных и вычислительной мощности. Одновременно с этим обостряются проблемы конфиденциальности и необходимости адаптации устройств под конкретного пользователя. По мнению Мелики Пайванд, решением является низкопотребляющее онлайн-обучение непосредственно на пограничных устройствах (edge devices), работающих в тесной связи с сенсорами. В биологическом мозге нейроны и синапсы также пространственно совмещены: сома (тело клетки) находится в непосредственной близости от дендритов, принимающих информацию. Мемристоры позволяют воссоздать эту топологию на кремнии.

Исследователь выделяет несколько ключевых сфер применения для подобных нейроморфных чипов:

* Персонализированная медицина: носимые смарт-устройства должны непрерывно отслеживать показатели конкретного пациента (кардиограмму, мышечную или мозговую активность) и адаптироваться к индивидуальным особенностям его организма, которые уникальны для каждого человека.
* Промышленный мониторинг: датчики, требующие работы в режиме «всегда включен» (always-on) от автономной батареи, например, для непрерывного контроля за состоянием авиационных или автомобильных двигателей, изменениями температуры и давления.
* Умный дом и распознавание команд: системы голосовых ассистентов (вроде Alexa или Siri) должны постоянно находиться в режиме ожидания ключевого слова, не расходуя при этом заряд аккумулятора.

При этом нейроморфное оборудование не заменит облачные вычисления, которые остаются незаменимыми для оффлайн-обучения огромных моделей. Гостья полагает, что идеальным сценарием станет гибридная схема: энергоэффективный чип на «краю» осуществляет постоянный мониторинг и, в случае обнаружения аномалии, отправляет триггер для глубокого анализа более мощной системе в облаке.

## 🚧 Три главных вызова онлайн-обучения на чипе
[[JUMP:14:10]]

Реализация алгоритмов обучения в реальном времени непосредственно на миниатюрном «железе» сталкивается с фундаментальными трудностями, которые Мелика Пайванд разделяет на три основные категории:

1.  Временная локальность (temporal locality) — данные поступают непрерывным потоком с размером пакета равным единице (batch size 1), у алгоритма нет прямого доступа к информации из прошлого или будущего.
2.  Пространственная локальность (spatial locality) — классический алгоритм обратного распространения ошибки (backpropagation) требует информации обо всех синапсах сети одновременно для обновления конкретного веса, что в аппаратной реализации привело бы к перегрузке чипа огромным количеством проводных соединений.
3.  Ограниченная точность памяти (low bit precision) — на крошечном пограничном устройстве невозможно разместить память для 32-битных чисел с плавающей запятой, приходится использовать 4- или 8-битные значения, что приводит к дискретности шагов обучения и высокому коэффициенту потерь при округлении.

В своем докладе на конференции ICML исследователь представила программно-аппаратные решения для преодоления каждого из этих ограничений.

### 📍 Локальность в пространстве: замена обратного распространения ошибки
[[JUMP:21:12]]

Математически градиентный спуск для обновления весов можно разложить на произведение трех факторов: активности пресинаптического нейрона, активности постсинаптического нейрона и сигнала ошибки. Информация от пре- и пост-синаптических узлов локально доступна самому синапсу, находящемуся между ними. Проблему составляет глобальный сигнал ошибки.

В совместном исследовании с Эмре Нефтчи (Emre Neftci) и Мохамедом Фудой (Mohamed Fouda) из Калифорнийского университета в Ирвайне команда Мелики Пайванд разработала метод кодирования ошибки в виде дискретных событий (events). Как только ошибка превышает определенный порог, генерируется импульс, транслируемый на синапсы, что позволяет выполнять обновление локально. Другой подход, упомянутый гостьей, заключается во внедрении локальных классификаторов на каждом отдельном слое глубокой сети, которые вычисляют ошибку локально для своего уровня.

Такой подход обеспечивает асинхронность и временную разреженность (temporal sparsity) вычислений. Чип работает по принципу биологической сетчатки глаза: он не обрабатывает статичные кадры один за другим, а реагирует исключительно на изменения сигнала во времени. Если изменений нет, процессор «спит», минимизируя энергопотребление.

Мелика Пайванд также отметила, что долгое время в области спайковых нейросетей (SNN) доминировало обучение без учителя на основе пластичности Хебба (корреляционное обучение). Однако оно страдает эффектом «жадности» и положительной обратной связи: случайно получивший больший начальный вес нейрон начинает реагировать на все стимулы подряд. Для балансировки вычислещих процессов исследователи вдохновляются гомеостатической пластичностью из нейробиологии — механизмом отрицательной обратной связи, удерживающим активность нейронов в строго определенном оптимальном диапазоне.

### ⏳ Локальность во времени: фазовый дрейф вместо огромных конденсаторов
[[JUMP:30:38]]

Временная локальность критически важна при обработке последовательностей данных. В мозге биологические процессы в нейронах происходят на масштабах от десятков до сотен миллисекунд, тогда как реальное поведение человека измеряется секундами и минутами. Мозг решает этот временной разрыв с помощью «следов пластичности» или пригодности (eligibility traces) — фильтров экспоненциального затухания, сохраняющих информацию о корреляции активности нейронов на десятки секунд до прихода глобального сигнала подкрепления.

Около двух лет назад группа ученых из Грацского технического университета математически доказала, что алгоритм обратного распространения ошибки во времени (BPTT) можно аппроксимировать, исключив члены, относящиеся к будущему. Это подтвердило жизнеспособность следов пластичности для аппаратной реализации.

Однако создание физических фильтров с длинными временными константами требует интеграции больших конденсаторов, которые занимают слишком много площади на чипе. Команда Мелики Пайванд нашла оригинальное решение, использовав физические особенности памяти на изменении фазового состояния (Phase Change Memory, PCM).

Устройство PCM переходит из аморфного состояния в кристаллическое под действием тока, резко меняя сопротивление. Находясь в нестабильном аморфном состоянии, материал физически стремится к постепенному дрейфу в сторону более высокого сопротивления. Время этого дрейфа составляет как раз десятки секунд, что идеально совпадает с временными константами биологических следов пластичности. Таким образом, физический дрейф одного наноразмерного элемента PCM позволил заменить громоздкие конденсаторы для сохранения временного контекста.

### 🎯 Проблема точности: управление ионными филаментами через ошибку алгоритма
[[JUMP:37:42]]

Мемристоры имеют множество промежуточных состояний сопротивления, но физически не могут быть полностью аналоговыми. Изменение проводимости обусловлено ростом проводящего канала (филамента) из ионов или вакансий кислорода между электродами под действием электрического поля. Толщина этого филамента напрямую определяет уровень сопротивления.

Исследователи применили подход совместного проектирования (co-design): они связали уровень математической ошибки нейросети с силой программирующего тока, подаваемого на мемристор. Если ошибка велика, на устройство подается больший ток, заставляя филамент расти быстрее и сильнее менять состояние; по мере уменьшения ошибки ток снижается, обеспечивая тонкую финальную подстройку весов. Таким образом, абстрактная ошибка алгоритма напрямую управляет движением ионов в физической системе.

При этом Мелика Пайванд признает, что фаза программирования мемристоров занимает наносекунды, но в этот ультракороткий промежуток времени поступающие на вход сенсора данные не обрабатываются и теряются.

Сама архитектура чипа представляет собой пример смешанных сигналов (mixed-signal design):

* Локальные вычисления (умножение и сложение) происходят в аналоговой форме за счет физики мемристоров.
* Передача информации между далеко расположенными нейронами и блоками чипа осуществляется в цифровом виде с помощью дискретных импульсов (спайков).

Аналоговый сигнал при передаче на расстояние затухает и требует мощных усилителей, поглощающих много энергии и места, в то время как импульсная цифровая передача лишена этого недостатка.

## 🚀 Будущее технологии: масштабирование и выход на рынок
[[JUMP:45:41]]

Главной нерешенной проблемой нейроморфных технологий на сегодняшний день остается масштабируемость. Описанные архитектурные допущения и математические аппроксимации отлично работают на сетях из 2–3 слоев, но при попытке построить глубокие многослойные структуры точность резко падает.

Кроме того, существует серьезный аппаратный барьер — высокая вариативность (variability) и временной шум мемристоров. Даже при стократном цикле записи и сброса одного и того же элемента его итоговое состояние подчиняется гауссовскому распределению, а не фиксированному значению. Впрочем, как отмечает гостья, некоторые исследовательские группы пытаются превратить этот недостаток в преимущество, используя шум для вероятностных (стохастических) вычислений.

Отвечая на вопрос о коммерческих перспективах, Мелика Пайванд указала, что выход полностью аналоговых нейроморфных решений на массовый рынок займет не менее 5 лет. Существующие стартапы (в том числе созданные выходцами из Института нейроинформатики в Цюрихе) пока вынуждены ограничиваться коммерциализацией нейроморфных чипов, работающих исключительно в цифровом домене. Разработка аналоговых систем требует конвергенции знаний из пяти различных научных областей на фоне все еще созревающей технологической базы.