# Google: «Архитектура Titans копирует человеческую память для прорыва в ИИ» Источник: https://www.youtube.com/watch?v=pU5Zmv4aq2U Канал: Wes Roth Опубликовано: 16.01.2025 --- Компания Google Research представила новую архитектуру нейронных сетей под названием Titans, которая может стать следующим фундаментальным шагом в развитии искусственного интеллекта. В своем новом видео технический обозреватель Уэс Рот (Wes Roth) анализирует, как эта разработка исправляет ключевые недостатки архитектуры Transformer, доминировавшей в индустрии с 2017 года, и почему инженеры Google решили черпать вдохновение в механизмах работы человеческой памяти, таких как «фактор удивления» и долгосрочное хранение данных. ## 🧠 От внимания к памяти: рождение архитектуры Titans [[JUMP:0:00]] В 2017 году Google совершила революцию, представив архитектуру Transformer, которая легла в основу современных чат-ботов и генеративных моделей [0:00]. Главной инновацией тогда стал механизм «внимания» (attention), который, подобно человеческому мозгу, позволяет модели фокусироваться на наиболее важных частях входящей информации, игнорируя фоновый шум [0:27]. Однако, по мнению Уэса Рота, современные модели постепенно упираются в технологический потолок, что потребовало создания Titans — архитектуры, которая еще сильнее копирует биологические процессы [0:53]. В основе Titans лежат концепции, напрямую заимствованные из нейробиологии: * Краткосрочная рабочая память. * Долгосрочная персистентная память. * Механизм забывания ненужной информации. * Приоритезация данных на основе «индекса удивления» [1:07]. ## ⚙️ Ограничения архитектуры Transformer и «квадратичная стоимость» [[JUMP:1:34]] Для понимания значимости Titans необходимо осознать проблему текущих моделей. Уэс Рот объясняет принцип работы трансформеров через процесс превращения текста в токены (фрагменты слов) и векторы (числовые координаты в многомерном пространстве) [2:39]. Механизм внимания позволяет этим векторам «общаться» друг с другом, чтобы уточнить значение слов в зависимости от контекста (например, отличить «модель» в машинном обучении от «модели» на подиуме) [3:17]. Однако у этой точности есть цена, которую специалисты называют «квадратичной стоимостью» (quadratic cost) [5:27]. 1. При удвоении объема входного текста вычислительные затраты возрастают в четыре раза [5:39]. 2. Это накладывает жесткие ограничения на «окно контекста» — объем данных, который модель может удерживать в памяти одновременно. 3. Хотя некоторые современные модели (например, Gemini) достигли окна в 2 миллиона токенов, это все еще является пределом, за которым эффективность резко падает [5:53]. ## 🏛️ Модуль нейронной долгосрочной памяти [[JUMP:6:18]] Разработчики Google предлагают разделить систему на два ключевых модуля. В этой схеме привычное «внимание» берет на себя роль краткосрочной рабочей памяти, обеспечивая точное моделирование зависимостей в текущем фрагменте текста [6:46]. Параллельно с ним работает новый модуль нейронной долгосрочной памяти (Neural Long-Term Memory), который запоминает исторический контекст и позволяет обращаться к информации, полученной задолго до текущего момента [6:32]. Ключевые технические преимущества такого подхода, согласно материалам исследования: * Быстрое и распараллеливаемое обучение (модели можно тренировать эффективно на больших кластерах) [6:46]. * Высокая скорость инференса (выдачи ответов пользователю) [6:46]. * Способность работать с данными за пределами окна в 2 миллиона токенов без потери точности [7:38]. ## 😲 Фактор «удивления» и управление забыванием [[JUMP:9:23]] Одной из самых неожиданных и эффективных находок в архитектуре Titans стал механизм управления памятью. Поскольку физическая память модели конечна, она должна эффективно выбирать, что хранить, а что удалять. Google внедрила «индекс удивления»: информация, которая противоречит ожиданиям модели или является новой и неожиданной, получает приоритет при записи в долгосрочную память [9:37]. Уэс Рот проводит аналогию с человеческим восприятием: мы гораздо лучше запоминаем события, которые нас поразили [10:03]. По его словам, в Titans реализован механизм затухания (decaying mechanism), который работает следующим образом: * События, вызывающие «удивление», сохраняются в параметрах нейронов. * Старая, рутинная или малозначимая информация постепенно «стирается», освобождая место для новых данных [10:15]. * Модель учится не просто механически запоминать всё подряд, а выделять суть (grokking), что критически важно для обобщения знаний [12:01]. ## 🐕 Обобщение против переобучения: аналогия с полосой препятствий [[JUMP:10:39]] В машинном обучении существует проблема «переобучения» (overfitting), когда модель просто зазубривает тренировочные данные и не может справиться с новыми задачами. Уэс Рот приводит наглядный пример с собакой, которую тренируют для соревнований по бегу с препятствиями [10:53]. Если собака просто выучит пять конкретных трасс дома, она провалится на реальном чемпионате, где трасса будет уникальной. Цель тренировки — научить собаку принципам: когда прыгать, когда ползти, как координировать движения [11:22]. Titans стремится к такому же уровню абстракции. Вместо того чтобы цитировать обучающую выборку, нейронная память учится запоминать функциональные закономерности, что повышает производительность модели при работе с реальными задачами пользователя [12:13]. ## 🧬 Результаты тестов: ДНК, физика и «иголка в стоге сена» [[JUMP:14:08]] Эффективность Titans была протестирована в нескольких сложных дисциплинах, выходящих за рамки простого написания текстов. Исследователи использовали тест «Needle in a Haystack» (Иголка в стоге сена), где модели нужно найти одну маленькую деталь в огромном массиве данных [14:08]. Результаты испытаний: * В отличие от стандартных трансформеров, точность которых падает при увеличении длины последовательности, Titans сохраняет стабильно высокие показатели [14:22]. * Архитектура показала превосходство в задачах прогнозирования временных рядов (Time Series forecasting), обойдя такие модели, как Mamba и классические линейные архитектуры [14:36]. * В моделировании ДНК и геномике Titans продемонстрировали конкурентоспособность с лучшими узкоспециализированными решениями [15:02]. По мнению Уэса Рота, хотя многие анонсируют «смерть трансформеров», Titans выглядит скорее как их эволюционное продолжение, устраняющее фундаментальные ограничения памяти и стоимости вычислений [15:15].