В новом выпуске подкаста Eye on AI ведущий Крейг беседует с профессором Андре ван Шайком, директором Международного центра нейроморфных систем в Университете Западного Сиднея. Ученый рассказал о скором запуске уникального нейроморфного компьютера DeepSouth, способного в реальном времени симулировать работу сети из 100 миллиардов импульсных нейронов, что соответствует масштабу человеческого мозга. Этот амбициозный проект, построенный целиком на базе доступных коммерческих компонентов, призван совершить прорыв в понимании электрических процессов мышления и заложить фундамент для разработки принципиально новых, энергоэффективных алгоритмов искусственного интеллекта.
🧠 Что такое нейроморфная инженерия и чем она отличается от классической архитектуры 2:20
Профессор Андре ван Шайк занимается нейроморфной инженерией с начала 1990-х годов. По его определению, эта дисциплина берет за основу биологические нервные системы и пытается воспроизвести их принципы в технологиях. Нейроморфная инженерия традиционно разделяется на два ключевых направления:
- Нейроморфная сенсорика — изучение и копирование того, как биологические организмы воспринимают окружающий мир через органы чувств.
- Нейроморфные вычисления — воссоздание процессов обработки информации, полученной от этих сенсоров, по аналогии с мозгом человека или животных (например, стрекоз и комаров).
Главное отличие нейроморфных вычислений от традиционной архитектуры фон Неймана кроется в организации памяти и логики. В классическом компьютере память физически отделена от вычислительного блока. Процессор вынужден непрерывно перемещать данные из памяти в вычислительное ядро, производить операцию и записывать результат обратно в последовательном режиме по сигналу тактового генератора.
В биологическом мозге и нейроморфных архитектурах память распределена и заложена непосредственно в силе синаптических связей между параллельно работающими нейронами. Коммуникация между ними происходит асинхронно с помощью импульсов — потенциалов действия, или спайков. Биологические нейроны посылают сигналы только тогда, когда накопленный стимул превышает определенный порог.
Такой подход обеспечивает колоссальную разреженность (sparsity) сигналов. В отличие от современных искусственных нейросетей (ANN), где численные значения всех нейронов каждого слоя (включая нули) передаются дальше и обрабатываются на каждом такте, импульсные сети активируются лишь частично. По мнению Андре ван Шайка, именно отсутствие разреженности и постоянное перемещение данных между памятью и процессором заставляют классические ИИ-модели потреблять гигантское количество энергии.
🖥️ Проект DeepSouth: 100 миллиардов цифровых нейронов на коммерческом железе 6:22
DeepSouth — это крупномасштабная нейроморфная система, эмулирующая работу мозга на электрическом уровне за счет импульсного обмена. Название проекта является шутливой отсылкой к знаменитому чипу TrueNorth от IBM, созданному более десяти лет назад в рамках проекта DARPA Synapse. Поскольку команда ван Шайка базируется в Австралии, компьютер решили назвать «Глубоким Югом». Похожие задачи сейчас решает корпорация Intel со своей платформой Loihi.
Однако DeepSouth имеет принципиальное технологическое преимущество перед разработками IBM и Intel. TrueNorth и Loihi — это специализированные заказные чипы (ASIC). Их проектирование обходится дорого, а цикл обновления занимает много времени. Профессор напоминает, что переход от Loihi 1 к Loihi 2 занял около шести лет. На таких чипах невозможно изменить логику работы или добавить новые правила обучения без полной переработки и повторного производства микросхемы.
DeepSouth построен на базе FPGA (программируемых логических интегральных схем, ПЛИС) — коммерчески доступного переконфигурируемого железа. Программируя FPGA, инженер физически меняет положение аппаратных переключателей и маршрутизацию между блоками, создавая реальную аппаратную схему для вычислений под конкретную задачу. При этом конфигурацию можно менять многократно.
Технические параметры DeepSouth:
- Масштаб системы включает в себя около 100 плат FPGA.
- Физически комплекс состоит из 3 серверных стоек, содержащих 24 компьютера, в каждом из которых установлено по 4 платы FPGA.
- Система способна моделировать до 100 миллиардов нейронов в режиме реального времени.
- Производительность достигает 220 триллионов синаптических операций в секунду.
- Для экономии памяти точность симуляции внутренних состояний ограничена 8 битами.
Поскольку кремниевые транзисторы работают значительно быстрее биологических клеток, инженеры применили метод временного мультиплексирования: один вычислительный блок последовательно обновляет состояния 128 нейронов. Для этого процессоры FPGA работают по общему тактовому генератору, синхронизируя локальную память с высокой пропускной способностью, расположенную прямо на платах.
Важнейшим преимуществом использования коммерческих FPGA является доступность технологии. По оценкам Андре ван Шайка, стоимость аппаратного обеспечения для полной репликации DeepSouth составляет около 2 миллионов долларов США. Любая крупная компания или университет могут купить эти компоненты на рынке и создать точную копию суперкомпьютера, используя открытую конфигурацию австралийской команды.
⚖️ Первый запуск: сети сбалансированного возбуждения и торможения 16:32
На момент записи интервью система DeepSouth находилась на стадии финальной физической сборки — оборудование монтировалось в стойки. Профессор сообщил, что полное подключение займет несколько недель, а официальный запуск намечен на начало июня. Небольшая задержка связана с личным графиком ученого: он отправляется в семинедельную поездку и хочет лично присутствовать на запуске.
Для первой демонстрации возможностей суперкомпьютера команда выбрала классическую задачу — симуляцию сетей со сбалансированным возбуждением и торможением (Balanced Excitation-Inhibition Networks). Архитектура воспроизводит структуру коры головного мозга человека, где примерно 80% составляют возбуждающие нейроны, а 20% — тормозящие.
Такой баланс необходим для стабильной работы биологических систем. По словам ученого, если бы в мозге существовали только возбуждающие нейроны, активность мгновенно выходила бы из-под контроля, приводя к непрерывному спайку всех клеток. Напротив, если бы нейроны только подавляли друг друга, в системе ничего бы не происходило.
Андре ван Шайк подчеркивает, что эта симуляция не выполняет полезных интеллектуальных задач. Она служит лишь функциональным тестом, доказывающим, что:
- Все нейроны вычисляют параметры корректно.
- Огромная популяция цифровых клеток способна поддерживать баланс в реальном времени.
- Различные группы нейронов успешно коммуницируют между собой на сетевом уровне.
🔬 Алгоритмы будущего: почему GPU не подходят для импульсных сетей 19:13
Современный бум генеративного ИИ и больших языковых моделей произошел благодаря графическим процессорам (GPU), которые идеально справляются с параллельным перемножением матриц в искусственных нейросетях. Однако импульсные нейронные сети (SNN) симулируются на классических GPU и CPU крайне медленно. Из-за этого исследователи импульсных систем десятилетиями были вынуждены ограничиваться крошечными «игрушечными» моделями.
Ограничение масштаба искажает саму физику процессов. Профессор приводит пример: один реальный нейрон в коре головного мозга может иметь до 10 000 входов от других клеток. Если исследователь из-за нехватки мощностей симулирует сеть всего из 1000 нейронов, он физически не может воссоздать 10 000 связей. Попытка обойти это ограничение путем создания 100 входов, каждый из которых делается в 100 раз мощнее, полностью ломает динамику вычислений: один сильный спайк на входе вызывает немедленный спайк на выходе, искажая результаты.
Крейг поинтересовался, можно ли перенести на DeepSouth популярные алгоритмы вроде архитектуры Transformer, лежащей в основе генеративного ИИ. Ван Шайк подтвердил, что импульсные версии трансформеров существуют и работают почти так же хорошо, как оригинальные, но практического смысла в этом мало — это делается скорее ради демонстрации («смотрите, я заставил его спайковать»).
По мнению профессора, человеческий мозг не реализует алгоритмы трансформеров. Настоящие преимущества импульсных сетей раскроются через принципиально новые архитектуры, которые еще только предстоит открыть. Точно так же архитектура Transformer появилась лишь тогда, когда инженеры получили возможность создавать по-настоящему огромные сети, тогда как в 1980-х и 1990-х годах исследователи работали лишь с трехслойными моделями, где подобные структуры обнаружить было невозможно.
Серьезной проблемой остается обучение спайковых сетей. Популярный метод обратного распространения ошибки (backpropagation) опирается на вычисление градиентов непрерывной функции активации. У импульсного нейрона функция активации разрывна (он либо выдает спайк, либо нет), поэтому классический градиент там отсутствует. Одним из участников исследовательского проекта ван Шайка стал Эмерсон Нефтчи (Emerson Neftci) из исследовательского центра Юлих в Аахене, который стоял у истоков метода суррогатных градиентов (Surrogate Gradient), позволяющего адаптировать backpropagation для SNN.
Тем не менее, Андре ван Шайк разделяет скепсис знаменитого ученого Джеффа Хинтона (Geoff Hinton) относительно механизмов работы мозга. Подобно Хинтону, австралийский профессор считает, что биологический мозг не использует алгоритм обратного распространения ошибки в чистом виде — вместо этого там задействованы другие архитектуры и локальные правила обучения.
🚀 Дальнейшие перспективы и поиск фундаментальных принципов работы мозга 32:45
DeepSouth не является сверхэффективным портативным чипом: его максимальное энергопотребление составляет около 40 киловатт. Профессор сравнивает это с энергопотреблением системы кондиционирования воздуха в здании средней величины. Это гораздо меньше мегаваттных дата-центров для современных ИИ-моделей (чье энергопотребление при обучении порой сравнивают с энергопотреблением Нью-Йорка), но все еще далеко от биологического идеала — человеческий мозг работает всего на 20 ваттах.
Ван Шайк поясняет свою стратегию: на данном этапе нет смысла создавать специализированные энергоэффективные микросхемы, поскольку наука еще не знает точных архитектур, необходимых свойств нейронов и правил обучения. Сначала нужно провести фундаментальные исследования на гибкой и переконфигурируемой платформе DeepSouth, и лишь затем закреплять успешные паттерны в экономичном заказном кремнии.
Главная цель проекта — фундаментальная наука, а именно понимание того, как мозг вычисляет информацию с помощью электрических импульсов. В симуляторе можно полностью контролировать процессы и наблюдать за любыми параметрами, что невозможно при изучении живой ткани. Полноценное создание прикладного коммерческого ИИ на этих принципах является вторичной целью.
Хотя DeepSouth математически масштабирован под параметры человеческого мозга, он способен моделировать любые структуры, заданные пользователем:
- Неокортекс (кору головного мозга).
- Мозжечок (cerebellum), который содержит даже больше нейронов, чем кора (актуально для моторных функций).
- Таламус, гиппокамп, кохлеарные ядра (для обработки аудио) или верхнее двухолмие.
Правда, из-за серверного размещения и сетевых задержек система пока плохо подходит для контуров управления робототехникой в реальном времени.
В команду проекта сейчас входят около 13 ключевых исследователей, преимущественно из Австралии. До конца года доступ к системе будет открыт для внутренних нужд лаборатории и прямых партнеров, а затем DeepSouth превратится в глобальный облачный сервис для ученых со всего мира. Чертежи и конфигурационные файлы ПЛИС будут выложены в открытый доступ (open source). Андре ван Шайк надеется, что это вызовет волну популярности, исследователи начнут собирать собственные копии машин и развивать экосистему, что резко ускорит разгадку тайн человеческого мозга.
