Революция в вычислениях: главные прорывы 2023 года 0:04
В 2023 году прогресс в области искусственного интеллекта и квантовых вычислений достиг новых высот, однако эксперты отмечают, что текущие архитектуры сталкиваются с фундаментальными ограничениями. Основные усилия исследователей сосредоточены на объединении различных подходов к логике, ускорении алгоритмов шифрования и понимании механизмов «эмерджентности» — внезапного появления новых способностей у нейросетей по мере их роста.
🧠 Гибридный интеллект: союз символов и статистики 1:10
Современные глубокие нейронные сети, основанные на статистическом подходе, демонстрируют успехи, но испытывают трудности с логическим выводом и обобщением знаний. В отличие от человека, способного к мышлению по аналогии, нейросети часто требуют существенного увеличения числа параметров для усвоения новых концепций.
Альтернативой выступает «символьный ИИ», использующий логическое программирование и работу с символами. Однако эти два подхода долгое время считались несовместимыми. Решением может стать «гипермерное вычисление» (Hyperdimensional Computing), которое пытается объединить сильные стороны обоих методов:
- Векторная природа: Информация представляется в виде векторов — упорядоченных списков чисел, которые можно рассматривать как направленные стрелки в многомерном пространстве.
- Масштабируемость: Векторы позволяют кодировать сложные данные без необходимости пропорционального увеличения количества узлов сети.
- Гибкость: Концепции можно комбинировать и разделять, манипулируя их ориентацией в пространстве.
В марте 2023 года исследователи IBM Research в Цюрихе совершили прорыв, применив эту технологию для решения матриц Равена — теста на абстрактное мышление. Как поясняют ученые, задача состояла из двух этапов: перцептивного анализа объектов (цвет, форма) и абстрактного логического вывода на основе их свойств. Интеграция гипермерных вычислений с нейросетями позволила ускорить выполнение подобных задач в 250 раз, делая их пригодными для практического применения.
По мнению исследователей, помимо скорости, такой подход обещает сделать ИИ более прозрачным и энергоэффективным. Ожидается, что энергопотребление моделей может снизиться в 10–100 раз.
🔐 Квантовая криптография и алгоритм Регева 4:01
Более 30 лет алгоритм Питера Шора оставался эталонным методом факторизации (разложения на множители) больших чисел на квантовых компьютерах, что ставит под угрозу современные протоколы шифрования интернета. Суть метода Шора заключается в поиске периода повторяющейся функции путем многократного умножения числа на само себя.
В августе 2023 года математик Одед Регев опубликовал работу, описывающую усовершенствованный алгоритм.
- Геометрический подход: Если алгоритм Шора можно представить как поиск пути на прямой линии, то метод Регева переносит вычисления в многомерное пространство (плоскость или 3D-пространство).
- Эффективность: По словам автора, использование дополнительных измерений позволяет находить периоды быстрее.
Сам Питер Шор в комментариях отмечает, что прорыв Одеда Регева был неожиданным, так как никто ранее не предлагал такой идеи. Хотя алгоритм пока остается теоретическим, он может приблизить создание практичных квантовых систем. Шор выразил надежду, что в будущем исследователи найдут способы использования квантовых компьютеров для задач, которые сегодня кажутся невыполнимыми для классических систем.
🌟 Эмерджентные способности больших моделей 7:20
Одной из самых интригующих тем в развитии больших языковых моделей (LLM) стали «эмерджентные поведения» — способности, которые внезапно появляются у систем только после достижения определенного масштаба. Исследователи проводят аналогию с природными процессами, такими как формирование живых клеток из неживой материи или поведение стай птиц.
Ключевым фактором прогресса стала архитектура Transformer, представленная в 2017 году, которая позволила анализировать текст параллельно, а не последовательно. Это открыло путь к методам обучения, которые модель никогда не видела ранее, — так называемое «zero-shot» или «few-shot» обучение.
Однако природа этих явлений остается загадкой:
- Теория «цепочки мыслей»: Существует предположение, что эмерджентность возникает, когда модель начинает разбивать сложные задачи на логические шаги (Chain of Thought reasoning).
- Проблема предсказуемости: Разработчики не всегда могут предсказать, какие новые способности — полезные или опасные — проявятся при увеличении модели.
Эксперты Quanta Magazine подчеркивают: наука о понимании того, что происходит «под капотом» нейросетей, сейчас отстает от темпов их масштабирования. В связи с этим, критически важной задачей становится измерение возможных рисков, так как влияние моделей на общество и их будущие способы применения пока остаются труднопрогнозируемыми.
