В современном мире ИИ существует жесткая связка: архитектура трансформеров, метод обратного распространения ошибки (backpropagation) и графические процессоры (GPU). Однако по мере того, как эффективность вычислений на кремнии приближается к плато, инженеры и ученые ищут принципиально иные способы создания мыслящих машин. В рамках очередного Paper Club от Y Combinator эксперты обсудили будущее «альтернативных вычислений» — от фотонных процессоров, работающих на скорости света, до биологических компьютеров, где живые клетки мозга обучаются играть в Doom.
🚀 Почему нам нужны альтернативы GPU и Backpropagation? 0:07
Ведущий встречи Франсуа Шобар (Francois Chaubard), занимающийся глубоким обучением с 2012 года, поставил провокационный вопрос: если бы мы встретили сверхразумных инопланетян, какой один вопрос мы бы им задали? По мнению Шобара, важнее всего узнать не то, как они решают проблему энергии, а то, как они выполняют свои вычислительные операции (FLOPS) .
Современная индустрия ИИ оказалась в ловушке «со-адаптации» железа и софта. До 2020 года Nvidia и Дженсен Хуанг (Jensen Huang) не считали ИИ приоритетом, фокусируясь на криптомайнинге. Перелом произошел с появлением GPT-2 и GPT-3, которые потребовали колоссальной пропускной способности памяти . Шобар отмечает тревожную тенденцию: в последние два года рост эффективности вычислений (гигафлопс на джоуль) практически остановился .
Ключевые тезисы Шобара:
- Энергоэффективность мозга: Человеческий мозг потребляет всего 20 Вт (как лампочка), выполняя задачи, недоступные современным кластерам GPU, сжигающим мегаватты .
- Отказ от Backprop: Мозг не использует обратное распространение ошибки. Он работает преимущественно в режиме feed-forward (прямого распространения). Идея о том, что нейроны «выключаются», чтобы прогнать сигнал назад для обновления весов, биологически неправдоподобна .
- SOMA (Sharded Optimization Mixture of Assemblies): Шобар представил метод оптимизации нулевого порядка, который не требует градиентов. Модель разбивается на тысячи крошечных «экспертов» (по аналогии с кортикальными колонками мозга), каждый из которых обучается независимо на своем фрагменте данных .
💡 Вычисления светом: преимущества и барьеры фотоники 15:06
Илкер Огуз (Ilker Oguz), исследователь из Стэнфорда, утверждает, что мы уже используем свет для передачи 99% межконтинентальных данных и связи между стойками в дата-центрах . Логичный вопрос: почему бы не использовать фотоны для самих вычислений?
Преимущества фотоники перед электроникой:
- Потери и полоса пропускания: У фотонов в 10 000 раз меньше потерь и в 10 000 раз шире полоса пропускания по сравнению с электронами .
- Параллелизм: Фотоны не взаимодействуют друг с другом. Множество световых лучей могут пересекаться в одном пространстве без помех, что позволяет достичь колоссальной плотности вычислений .
- Энергия: В оптике энергия на операцию умножения матрицы на вектор масштабируется как $N$ (количество входов), тогда как в электронике — как $N^2$ .
Однако на пути к «оптическому GPU» стоят серьезные преграды. Основная часть энергопотребления нынешних фотонных чипов уходит не на свет, а на АЦП/ЦАП (аналого-цифровые преобразователи) — перевод данных из цифровой памяти в оптический домен и обратно . Кроме того, в оптике крайне сложно реализовать нелинейные функции активации, которые в обычных чипах легко делаются транзисторами .
🎨 Диффузионные модели на световых волнах 22:23
Илкер Огуз представил результаты совместного исследования с Google, в рамках которого была создана оптическая система для генерации изображений (диффузии). Вместо того чтобы гонять данные через стандартный процессор тысячи раз, ученые создали пассивное устройство, где сама физика распространения света выполняет шаг шумоподавления .
Система использует дифракционные слои (прозрачные маски), которые модулируют фазу света. Проходя через них, «шумный» световой сигнал на выходе превращается в чистое изображение . Опыты показали, что такие системы подчиняются тем же законам масштабирования (Scaling Laws), что и цифровые нейросети: при увеличении числа параметров качество генерации растет предсказуемо .
🧠 Нейроморфные чипы: архитектура, вдохновленная биологией 39:00
Алок Васудев (Alok Vasudev), венчурный капиталист и PhD в области электротехники, разобрал концепцию нейроморфных вычислений. Термин был введен Карвером Мидом (Carver Mead) из Caltech еще в конце 80-х .
Основные принципы нейроморфных систем:
- Слияние памяти и вычислений: В мозге синапсы одновременно и хранят веса, и проводят сигналы. В архитектуре фон Неймана (обычные ПК) память и процессор разделены «бутылочным горлышком» .
- Событийность (Spiking): Мозг работает на «спайках» — импульсах, которые возникают только при достижении определенного порога. Если сигнала нет, энергия не тратится .
- Пластичность: Мозг физически перестраивает свои связи в процессе обучения, в то время как архитектура чипов остается фиксированной после выхода с завода .
Алок скептически отметил, что современные нейросети (трансформеры) очень далеко ушли от биологии. Backpropagation и механизмы внимания — это «нативные» решения для кремния, а не для нейронов . Тем не менее, стартапы вроде D-Matrix уже внедряют элементы нейроморфности, размещая SRAM-память вплотную к логике, чтобы избежать затрат энергии на пересылку данных по длинным проводам .
🎮 Мозговые клетки играют в Doom: биологический компьютер 1:04:24
Самым экзотическим докладом стало выступление Шона Коула (Sean Cole), который в коллаборации с Cortical Labs обучал живые нейроны играть в Doom. Это не симуляция — это реальная биологическая культура на чипе с электродами .
Процесс обучения строится следующим образом:
- Кодирование: Состояние игры (здоровье, патроны, враги) превращается в электрические стимулы разной амплитуды и частоты, подаваемые на 2D-матрицу электродов .
- Декодирование: Спайки (ответные импульсы нейронов) считываются и переводятся в игровые действия: движение, поворот, стрельба .
- Обратная связь: Используется принцип свободной энергии Карла Фристона. Нейроны стремятся минимизировать энтропию (хаос). За правильные действия в игре они получают «синхронную» (упорядоченную) стимуляцию, за ошибки — «асинхронный» шум .
Шон подчеркнул критическую важность честности эксперимента: если декодер (кремниевая часть системы) будет слишком мощным, он сам научится играть в игру, игнорируя биологические клетки. Поэтому ученые используют предельно простые линейные считыватели, чтобы убедиться, что «интеллект» исходит именно от нейронов .
На вопрос о масштабируемости Шон ответил честно: «Мы не знаем». Главная проблема биологических компьютеров сегодня — не в том, как получить интеллект (мы сами тому доказательство), а в том, как превратить это в распределенную систему, способную обслуживать миллиарды людей .
