Аналоговый ренессанс: почему кремний уступает место физике токов

Veritasium 12,9 млн 21 мин 9 мин 01.03.2022
Главное

Стремительное развитие искусственного интеллекта столкнулось с фундаментальным физическим барьером кремниевой электроники и традиционной архитектуры фон Неймана. Чтобы обучать и запускать современные нейросети, требуются колоссальные объемы энергии, а закон Мура постепенно прекращает свое действие. В поиске выхода из этого технологического тупика инженеры и ученые обращаются к технологии прошлого — аналоговым вычислениям, которые способны выполнять сложнейшие математические операции за доли секунды, используя чистые законы физики.

🔌 Возвращение к истокам: что такое аналоговый компьютер 0:00

В течение сотен лет аналоговые компьютеры оставались самыми мощными вычислительными машинами на Земле: они предсказывали затмения, рассчитывали морские приливы и управляли зенитными орудиями во время Второй мировой войны . Однако с появлением твердотельных транзисторов цифровые компьютеры полностью вытеснили аналоговые технологии из коммерческого сектора . Сегодня ситуация начинает стремительно меняться.

Ведущий канала Veritasium Дерек Мюллер наглядно демонстрирует работу аналогового компьютера . Соединяя провода различными способами на коммутационной панели, он программирует устройство на решение сложных дифференциальных уравнений, например, симулируя затухающие колебания массы на пружине , . На экране подключенного осциллографа в реальном времени отображается положение массы, причем Дерек Мюллер может мгновенно менять параметры затухания или жесткость пружины, сразу видя изменения графика .

Главное отличие аналогового компьютера от цифрового заключается в полном отсутствии двоичного кода — нулей и единиц . Вместо этого внутри системы колеблется электрическое напряжение, выступая точным физическим аналогом реального процесса . Изменив конфигурацию соединений, аналоговую систему можно перенастроить на расчет хаотического аттрактора Лоренца, моделирующего атмосферную конвекцию , .

Основные преимущества аналоговых вычислений перед цифровыми:

Несмотря на свои преимущества, аналоговые компьютеры исторически проиграли цифровую гонку из-за критических недостатков:

По мнению Дерека Мюллера, именно неточность и невозможность идеального воспроизведения результатов стали главными причинами, по которым аналоговые машины уступили место цифровым, как только те стали коммерчески жизнеспособными , .

🧠 Нейросеть Фрэнка Розенблатта и первый крах ИИ 3:39

Возвращение аналоговых систем началось с расцвета искусственного интеллекта. Понятие «ИИ» было введено еще в 1956 году . В 1958 году психолог из Корнеллского университета Фрэнк Розенблатт создал «перцептрон» — устройство, призванное имитировать работу биологических нейронов человеческого мозга , .

Принцип работы биологического нейрона относительно прост: он либо возбуждается и передает сигнал дальше (1), либо остается в покое (0) , . Связи между нейронами имеют разную силу — веса . Одни связи стимулируют возбуждение (положительные веса), другие тормозят его (отрицательные веса) . Нейрон активируется, если взвешенная сумма всех входящих сигналов превышает определенный порог (смещение) .

Аппаратная реализация перцептрона Розенблатта имела следующие характеристики:

Для обучения перцептрона использовался простой алгоритм . Если при показе круга выходной нейрон не срабатывал, значения входных активаций прибавлялись к весам , . Если же он срабатывал при показе прямоугольника (ошибка), эти значения вычитались , . Розенблатт утверждал, что машина способна к оригинальному мышлению, а пресса активно развивала этот нарратив . Газета New York Times писала, что ВМС США ожидают от этого изобретения возможности ходить, говорить, видеть, писать, размножаться и осознавать свое существование .

Однако реальные возможности перцептрона были крайне ограничены . В 1969 году выдающиеся ученые из MIT Марвин Минский и Сеймур Пейперт опубликовали книгу «Перцептроны», в которой математически доказали жесткие ограничения подобных однослойных сетей (в частности, неспособность решать задачу XOR) . Это привело к первому периоду упадка исследований ИИ, известному как «первая зима искусственного интеллекта» . Сам Розенблатт трагически утонул во время плавания на яхте в день своего 43-летия, не дожив до возрождения своих идей .

🚗 Alvin, ImageNet и революция AlexNet 8:18

Новый виток интереса к нейросетям начался в 1980-х годах. Исследователи из Университета Карнеги — Меллона создали Alvin — один из первых прототипов беспилотных автомобилей , . Автомобиль управлялся искусственной нейронной сетью, которая отличалась от перцептрона наличием скрытого слоя нейронов между входом и выходом .

Архитектура Alvin включала в себя:

Сеть обучалась методом обратного распространения ошибки (backpropagation), копируя поведение водителя-человека , . Главной проблемой Alvin была скорость: из-за медленных цифровых матричных вычислений того времени беспилотник мог двигаться с максимальной скоростью всего 1–2 км/ч .

В 1990-х годах ИИ пережил очередной спад . К середине 2000-х годов большинство ученых работало над улучшением алгоритмов, но исследовательница Фей-Фей Ли предположила, что нейросетям просто не хватает данных для качественного обучения . С 2006 по 2009 год под ее руководством была создана база данных ImageNet, содержащая 1,2 миллиона размеченных вручную изображений . На ее основе с 2010 по 2017 год проводился ежегодный престижный конкурс классификации изображений ImageNet .

Прорыв случился в 2012 году, когда нейросеть AlexNet, разработанная в Университете Торонто, показала рекордный показатель ошибок Top-5 на уровне 16,4%, разгромив конкурентов (у лучшего алгоритма 2011 года показатель составлял 25,8%) , .

Параметры и вычислительная сложность AlexNet:

Создатели AlexNet совершили революцию, впервые применив графические процессоры (GPU) для параллельных вычислений . Статья с описанием их работы на сегодняшний день цитировалась более 100 000 раз . К 2015 году за счет увеличения глубины сетей до 100 слоев уровень ошибок на конкурсе упал до 3,6%, что превзошлo возможности человека , .

🛑 Три барьера современного кремния 13:32

Успех глубоких нейросетей обозначил острую потребность в гигантских вычислительных мощностях. По словам Дерека Мюллера, сегодня индустрия ИИ столкнулась с тремя фундаментальными проблемами :

  1. Энергопотребление: Обучение одной крупной нейросети требует колоссального количества электричества, сопоставимого с годовым потреблением трех среднестатистических домохозяйств .
  2. «Бутылочное горлышко» архитектуры фон Неймана: В классических цифровых компьютерах данные хранятся в памяти и передаются процессору по шине данных. При выполнении миллиардов матричных умножений основная часть энергии и времени тратится не на сами вычисления, а на постоянное перемещение значений весов из памяти в процессор и обратно .
  3. Физические ограничения закона Мура: Размеры транзисторов на кремниевых кристаллах уже приближаются к размерам отдельных атомов, что создает непреодолимые физические барьеры для дальнейшей миниатюризации цифровой логики .

В этих условиях аналоговые вычисления выглядят идеальным решением. Нейросетям не требуется абсолютная цифровая точность: для системы распознавания образов не имеет значения, уверена ли она в наличии объекта на 96% или на 98%, — конечный результат (например, распознавание курицы на фото) останется неизменным , . Следовательно, аналоговые флуктуации и погрешности компонентов вполне допустимы.

⚡ Как Mythic AI переносит нейросети на аналоговые чипы 15:02

Чтобы увидеть аналоговое будущее ИИ-чипов своими глазами, Дерек Мюллер посетил американский стартап Mythic AI в Техасе . Компания занимается созданием специализированных аналоговых чипов для запуска нейросетей и демонстрирует их возможности на примере алгоритмов оценки позы для VR/AR (метаверс-приложения) и определения глубины кадра с одной веб-камеры в реальном времени , , .

Для реализации матричного умножения в аналоговом домене инженеры Mythic AI переосмыслили использование стандартных ячеек флэш-памяти . В цифровой технике подача высокого напряжения на затвор заставляет электроны проходить через изолирующий барьер и оставаться на плавающем затворе, блокируя прохождение тока (логический ноль) , . Если электронов нет, ток течет свободно (логическая единица) .

Технологическое решение Mythic AI состоит в следующем:

Крошечный чип от Mythic AI способен выполнять 25 триллионов математических операций в секунду (TOPS), потребляя при этом всего около 3 Вт энергии , . Для сравнения: современные цифровые системы могут выполнять от 25 до 100 TOPS, но требуют массивного оборудования и потребляют от 50 до 100 Вт .

Хотя сравнение не совсем прямое — аналоговые чипы предназначены для запуска готовых нейросетей (инференса), а не для их обучения (где по-прежнему лидируют традиционные GPU) — они предлагают огромные преимущества при внедрении ИИ на конечных устройствах , . Такие чипы могут встраиваться в камеры безопасности, беспилотные системы, промышленное инспекционное оборудование (например, для мгновенной отбраковки чипсов на конвейере Frito-Lay) и умные колонки , , .

Тем не менее, аналоговый подход сталкивается со своими трудностями. При проведении последовательности из 50 и более матричных умножений аналоговый сигнал накапливает искажения и полностью разрушается . Чтобы решить эту проблему, разработчики используют гибридную схему: сигнал периодически конвертируется из аналогового домена обратно в цифровой с помощью АЦП (аналого-цифровых преобразователей) для очистки от шума, а затем преобразуется обратно в аналоговый для выполнения следующего блока вычислений .

Дерек Мюллер заключает, что основатель перцептрона Фрэнк Розенблатт, который изначально пытался обучать свою сеть на цифровом компьютере IBM, но из-за нехватки скорости построил собственную аналоговую систему с переменными резисторами и моторчиками, в итоге оказался прав не только насчет нейросетей, но и насчет превосходства аналоговой архитектуры , . Возможно, через 100 лет человечество будет смотреть на цифровую эпоху не как на финал развития технологий, а лишь как на их отправную точку . Наш мозг работает гибридно: нейроны выдают бинарные импульсы, но сам мыслительный процесс происходит во всей сети одновременно и непрерывно . Для создания истинного искусственного интеллекта человечеству может потребоваться вся мощь аналоговых систем .

💬 Цитаты

«Сложение двух чисел на цифровом ПК требует около 50 транзисторов, а на аналоговом — всего лишь соединения двух проводов.»

Дерек Мюллер 02:01

«Этот чип может выполнять 25 триллионов математических операций в секунду, потребляя всего около 3 Вт.»

Представитель Mythic AI 17:37

«Возможно, в будущем мы будем смотреть на цифровую эпоху не как на конечную точку, а лишь как на начало пути.»

Дерек Мюллер 20:03
👥 Спикеры
📚 Упомянутые книги
🔗 Упомянутые сайты и проекты
📖 Термины
Перцептрон
Ранняя математическая и аппаратная модель нейросети, предложенная Фрэнком Розенблаттом в 1958 году.
Архитектура фон Неймана
Принцип построения компьютеров, предполагающий раздельное хранение данных в памяти и их обработку в процессоре, что создает бутылочное горлышко при передаче данных.
Инференс
Процесс работы уже обученной нейросети при обработке новых реальных данных.
Плавающий затвор
Элемент транзистора во флэш-памяти, способный удерживать электрический заряд (электроны) в течение десятилетий.
📊 Цифры
🗓 Хронология
  1. 1958 Фрэнк Розенблатт разрабатывает перцептрон — модель искусственного нейрона.
  2. 1969 Публикация книги «Перцептроны» Минского и Пейперта запускает первую зиму ИИ.
  3. 1980-е Разработка беспилотника Alvin в Университете Карнеги — Меллона.
  4. 2006-2009 Фей-Фей Ли создает крупнейшую базу данных ImageNet для тренировки нейросетей.
  5. 2012 Нейросеть AlexNet выигрывает конкурс ImageNet, запустив современную эру глубокого обучения.
⚖️ Другая сторона
Технологии и IT Mythic AI AlexNet аналоговый компьютер Дерек Мюллер