# DeepMind: как архитектура трансформеров решила задачу 50-летней давности

Источник: https://www.youtube.com/watch?v=B9PL__gVxLI
Канал: Yannic Kilcher
Опубликовано: 01.12.2020

---

Исследователь ИИ Янник Кильхер разбирает один из самых значимых прорывов в современной науке — систему AlphaFold 2 от компании DeepMind. В этом материале анализируется, как искусственный интеллект справился с задачей, над которой ученые бились последние 50 лет, и почему переход от классических сверточных нейросетей к архитектуре трансформеров стал решающим фактором в предсказании структуры белков.

## 🧬 Проблема фолдинга белка: почему это важно?
[[JUMP:03:12]]

Белки — это основные «рабочие лошадки» живой клетки, выполняющие функции сигнальных молекул, рецепторов и даже двигательных элементов мышц [03:54]. Каждый белок представляет собой цепь из 21 вида аминокислот, последовательность которых определяется ДНК. Однако сама по себе последовательность (первичная структура) мало что говорит о функции белка. Решающее значение имеет его трехмерная форма (третичная структура) [09:02].

Проблема «фолдинга» (свертывания) заключается в том, что аминокислотная цепочка начинает изгибаться сразу после синтеза под воздействием химических и электрических взаимодействий между остатками (residues) аминокислот [07:26]. Как отмечает Янник Кильхер, еще 50 лет назад нобелевские лауреаты предположили, что структура белка полностью определяется его последовательностью, но вычислить ее оказалось невероятно сложно из-за бесконечного количества вариантов изгиба [11:56].

До появления эффективных алгоритмов ученым приходилось определять структуру экспериментально с помощью:

*   Рентгеновской кристаллографии: белки кристаллизуют и просвечивают рентгеновскими лучами [13:16].
*   Анализа дифракционных паттернов: процесс напоминает попытку понять структуру молекулы воды, изучая форму снежинок [13:41].
*   Криоэлектронной микроскопии.

Эти методы крайне дороги и могут занимать годы работы для одного-единственного типа белка [14:20].

## 🏗️ Как работал AlphaFold 1: фундамент успеха
[[JUMP:15:13]]

Предыдущая версия системы, AlphaFold 1, уже доминировала на конкурсе CASP за два года до триумфа второй версии, хотя и не считалась окончательным «решением» проблемы [15:01]. Ее работа строилась на двухэтапном процессе:

1.  **Нейросетевое предсказание:** Сверточная нейросеть (CNN) принимала на вход последовательность аминокислот и выдавала матрицу расстояний (дистограмму) — предсказание того, насколько далеко каждая аминокислота в цепи находится от любой другой [16:45].
2.  **Геометрическая оптимизация:** На втором этапе строилась дифференцируемая компьютерная модель белка. С помощью градиентного спуска алгоритм менял углы кручения (torsion angles) цепочки до тех пор, пока реальные расстояния в 3D-модели не начинали соответствовать предсказанным нейросетью [22:23].

Янник Кильхер подчеркивает, что на этапе оптимизации не происходило «обучения» в привычном смысле — это была чисто геометрическая подгонка модели под результаты первого этапа [19:54].

Архитектура нейросети в AlphaFold 1 включала 220 остаточных сверточных блоков (residual blocks) [28:24]. Однако у этого подхода была системная слабость: сверточные слои имеют ограниченное «поле зрения» (в данном случае 64x64 аминокислоты), что мешает модели учитывать глобальные взаимодействия в очень длинных белках [29:04].

## 🧬 Эволюционные подсказки: Multiple Sequence Alignment (MSA)
[[JUMP:31:15]]

Одним из ключевых источников данных для обеих версий системы является метод выравнивания множества последовательностей (MSA). Идея основана на эволюционной ковариации [31:28]:

*   Ученые ищут похожие последовательности белков в базах данных по всей «древе жизни» — от рыб до аллигаторов и насекомых [33:30].
*   Если две аминокислоты в белке физически контактируют друг с другом, то при мутации одной из них вторая часто мутирует соответствующим образом, чтобы сохранить стабильность структуры [36:27].
*   Если в базе данных видно, что изменения в позиции А всегда коррелируют с изменениями в позиции Б, это статистически доказывает, что в 3D-пространстве эти точки находятся рядом [37:32].

DeepMind извлекает из таких MSA-данных 484 различных признака для каждой пары аминокислот, что дает нейросети мощную подсказку о топологии белка еще до начала моделирования [38:25].

## 🚀 AlphaFold 2: революция внимания и трансформеров
[[JUMP:43:49]]

AlphaFold 2 совершил качественный скачок, достигнув точности, сопоставимой с экспериментальными методами [01:25]. Хотя на момент записи видео полная научная статья еще не была опубликована, Янник Кильхер анализирует доступные данные и архитектурную схему от DeepMind.

Главным изменением, по мнению исследователя, стал отказ от сверточных сетей в пользу архитектуры трансформеров (Attention-based) [2:44]. Это позволяет модели:

*   **Учитывать глобальные связи:** Механизм внимания (Attention) позволяет любой части белка «взаимодействовать» с любой другой, независимо от их удаления в цепочке [45:50].
*   **Итерировать процесс:** В отличие от AlphaFold 1, новая версия обучается «сквозным» образом (end-to-end), постоянно уточняя внутренний граф взаимодействий [47:08].
*   **Оценивать уверенность:** Система выдает внутреннюю метрику достоверности для каждой части белка, позволяя биологам понять, каким участкам предсказания можно доверять, а какие требуют проверки [47:21].

## 🔍 Анализ архитектуры: как данные проходят через систему
[[JUMP:48:00]]

На основе блок-схемы DeepMind, Янник Кильхер выделяет три основных пути обработки информации в AlphaFold 2:

1.  **Генетический поиск:** Параллельный анализ MSA для поиска эволюционных корреляций [48:39].
2.  **Эмбеддинги пар:** Создание матрицы признаков для пар аминокислот, которая постоянно обновляется.
3.  **Взаимодействие через трансформеры:** Янник полагает, что информация передается между MSA-данными и матрицей пар аминокислот через слои внимания [50:26].

Исследователь предполагает, что «структурный модуль» на выходе может работать итеративно: он не просто строит модель один раз, а возвращает информацию обратно в нейросеть для дальнейшего уточнения координат атомов [52:37].

В завершение Янник Кильхер отмечает вклад молодых исследователей, в частности Анны (Anna), которая проходила стажировку в DeepMind и участвовала в разработке системы. По мнению автора, AlphaFold 2 — это пример того, как трансформеры продолжают доминировать в области машинного обучения, выходя далеко за пределы обработки текста [02:58].