Современная индустрия искусственного интеллекта столкнулась с серьезным вызовом: экстенсивный путь развития через наращивание вычислительных мощностей ведет к колоссальному энергопотреблению. В свежем выпуске подкаста The TWIML AI Podcast вице-президент по исследованиям компании Numenta Субутай Ахмад (Subutai Ahmad) объясняет, как архитектура человеческого мозга способна переломить этот тренд. По мнению исследователя, интеграция биологических принципов — в частности, концепции разреженности (sparsity) и структуры кортикальных колонок — позволяет повысить эффективность алгоритмов глубокого обучения на два порядка уже сегодня.
🧠 От нейробиологии к алгоритмам: миссия Numenta 0:13
Путь Субутая Ахмада в ИИ начал разворачиваться еще в конце 1980-х годов, когда сфера глубокого обучения и вычислительной нейробиологии находилась в зачаточном состоянии. Не найдя в те годы практического применения своим изысканиям, Ахмад временно переключился на традиционное машинное обучение, пока 17 лет назад не присоединился к Джеффу Хокинсу (Jeff Hawkins) и Донне Дубински (Donna Dubinsky), основавшим компанию Numenta.
Сегодня Numenta ставит перед собой амбициозную задачу: не просто абстрактно вдохновляться биологией, а детально переносить алгоритмические свойства человеческого мозга в практические кремниевые системы. По мнению Субутая Ахмада, доминирующий в современной ИИ-индустрии подход — увеличение размеров компьютеров и скармливание сетям терабайтов данных — является тупиковым и сам по себе не приведет к созданию подлинного интеллекта. В качестве альтернативы исследователь предлагает обратиться к «доказательству существования» — человеческому мозгу, который работает несоизмеримо умнее и эффективнее любой современной нейросети.
🧱 Кортикальная колонка: универсальный микрочип природы 5:06
Одним из фундаментальных открытий нейробиологии, способных обогатить компьютерные науки, является концепция кортикальной колонки, впервые предложенная ученым Верноном Маунткаслом (Vernon Mountcastle) в 1970-х годах. Неокортекс (новая кора) — это обширная плоская структура толщиной всего около двух миллиметров, сложенная внутри черепа. Маунткасл обнаружил, что независимо от выполняемой функции (будь то зрение, слух или высшее мышление) вся эта ткань состоит из повторяющихся микросхем — кортикальных колонок размером с рисовое зернышко.
Всего в человеческом мозге насчитывается около 150 000 таких колонок, каждая из которых содержит от 50 до 100 тысяч нейронов, организованных в шесть анатомических слоев. Нейробиологи подтвердили универсальность этого механизма серией уникальных экспериментов по «смене модальностей»: когда зрительный сигнал направляли в слуховую кору подопытных животных, в ней автоматически формировались детекторы зрительных признаков. Архитектура коры едина, меняются лишь входные данные. По мнению Ахмада, для ИИ это означает колоссальное упрощение: вместо изобретения сотен специализированных архитектур инженерам достаточно понять и алгоритмически скопировать работу одной кортикальной колонки, после чего задача сведется к тривиальному масштабированию.
🌍 Теория тысячи мозгов и сенсомоторный интеллект 10:08
Современные сверточные сети имитируют от силы один-два слоя из шестислойной структуры биологической коры. Главное отличие реальных кортикальных колонок заключается в том, что каждая из них представляет собой замкнутую сенсомоторную систему. В биологии нет жесткого разделения на зоны восприятия и зоны действия: каждая колонка обрабатывает входящую сенсорную информацию и одновременно генерирует моторные команды. Живые существа учатся, непрерывно двигаясь в пространстве и активно взаимодействуя с миром, а не пассивно просматривая миллионы статичных картинок.
На основе этих наблюдений Numenta сформулировала «Теорию тысячи мозгов» (Thousand Brains Theory). Согласно этой концепции:
- Каждая кортикальная колонка строит собственную полноценную и независимую 3D-модель окружающего мира на основе получаемых сигналов.
- Моделирование опирается на внутренние системы координат (системы отсчета), привязанные к самому объекту, а не к наблюдателю.
- Итоговое осознанное восприятие формируется за счет распределенного алгоритма голосования и консенсуса между тысячами колонок.
Ахмад отмечает, что схожие идеи об объектно-центрированных репрезентациях еще в 1970-х годах высказывал пионер глубокого обучения Джеффри Хинтон (Geoffrey Hinton), позже воплотивший их в концепции капсульных сетей (Capsule Networks). Однако биологические колонки Numenta идут значительно дальше капсул, поскольку их неотъемлемой частью являются моторные действия и предиктивный анализ ошибок.
🧬 Переосмысление нейрона: почему глубокое обучение застряло в прошлом 15:33
Математическая модель нейрона, используемая в современном глубоком обучении — так называемый «точечный нейрон» (point neuron), вычисляющий линейную взвешенную сумму входов с последующей нелинейной активацией, — практически не менялась последние сто лет. Биологический же нейрон устроен неизмеримо сложнее благодаря разветвленным дендритным структурам.
Дендриты осуществляют многоуровневую нелинейную фильтрацию сигналов еще до того, как клетка сгенерирует итоговый импульс. Субутай Ахмад предположил, что именно эта сложная внутренняя структура позволяет человеку реализовывать непрерывное обучение (continual learning) — способность запоминать новое, не уничтожая старые воспоминания, что до сих пор остается огромной проблемой для искусственных нейросетей. Примечательно, что пирамидальные нейроны с одинаково сложной дендритной структурой отвечают в мозге за совершенно разные задачи: от речи до памяти в гиппокампе.
Еще одно важное различие — способ передачи информации. Живые клетки общаются бинарными электрическими импульсами (спайками), в то время как компьютерные модели оперируют высокоточными числами с плавающей запятой, требующими колоссальных энергозатрат. Человеческий мозг расходует всего 20–30 Ватт энергии. По мнению гостя, если инженерам удастся перевести ИИ на бинарный обмен данными, это революционизирует энергоэффективность отрасли. При этом Numenta прагматично подходит к моделированию: они не копируют биологические детали (например, точную физику спайков) до тех пор, пока экспериментально не докажут их прямую алгоритмическую пользу.
⚡ Принцип разреженности: как получить 100-кратное ускорение 32:39
Если воссоздание полноценных сенсомоторных колонок — это долгосрочная цель, то внедрение принципа разреженности (sparsity) приносит колоссальные дивиденды ИИ-индустрии уже сегодня. Разреженность бывает двух типов:
- Разреженность связей (весов) — когда большая часть матрицы весов состоит из нулей.
- Разреженность активаций — когда в каждый фиксированный момент времени активна лишь малая доля нейронов (в неокортексе этот показатель составляет всего около 1%).
Когда нулевые элементы встречаются и в весах, и в активациях, возникает мощный мультипликативный эффект. Например, если в сети обнулено 90% весов, вычисления сокращаются в 10 раз. Но если при этом активны только 10% нейронов, то перемножать придется лишь те пары, где ненулевые значения есть с обеих сторон — это дает стократное (100x) снижение вычислительной нагрузки. Инженерная сложность заключается в том, что классический метод обратного распространения ошибки (backpropagation) математически рассчитан на плотные многомерные пространства и буквально «сопротивляется» обнулению элементов.
Чтобы решить эту проблему, команда Numenta применила байесовскую оптимизацию гиперпараметров с помощью платформы SigOpt. Это позволило проводить многокритериальный поиск, одновременно минимизируя ошибку сети и максимизируя оба типа разреженности.
🔄 Динамическая связь и архитектура будущего 40:41
Биологический мозг не имеет жесткой статичной структуры: синаптические связи постоянно создаются и разрушаются. Субутай Ахмад ссылается на поразительные данные нейробиологических исследований: в мозге взрослого человека до 30% всех связей полностью обновляются в течение всего нескольких дней. Это фундаментальный механизм адаптации и непрерывного обучения.
Для переноса этого принципа в ИИ Numenta опубликовала работу «Two Sparsities are Better than One» («Две разреженности лучше, чем одна»). В ней исследователи доказали, что при адаптации алгоритмов под ограничения конкретного железа (первые тесты проводились на программируемых чипах FPGA) и формировании правильных паттернов («комплементарной разреженности») можно ускорить работу существующих нейросетей в 100 раз без потери их точности. Более того, данный подход успешно масштабируется на стандартные CPU и GPU.
Команда уже применила эти принципы к популярным архитектурам. В частности, каноническую языковую модель BERT удалось сделать разреженной на 90% без малейшей потери качества предсказаний. По оценкам Ахмада, на оптимизированном оборудовании 90-процентная разреженность конвертируется в более чем 10-кратный чистый прирост скорости. Это связано не только с сокращением математических операций, но и с тем, что компактная модель целиком помещается в быструю кэш-память процессора, устраняя задержки обращения к оперативной памяти. Учитывая огромный углеродный след современного ИИ, переход на разреженные вычисления видится исследователю критической необходимостью для всей ИТ-индустрии.
