# Эшед Маргалит: «Мы создали симулятор для 6 миллиардов виртуальных клеток опухоли» Источник: https://www.youtube.com/watch?v=8kXIaUM3h1E Канал: Stanford Online Опубликовано: 13.06.2025 --- Использование искусственного интеллекта в биомедицине переходит от простых классификаторов к созданию полноценных «моделей мира» (World Models). Исследователь и нейробиолог Эшед Маргалит (Eshed Margalit) из стартапа Noetik в рамках лекции в Стэнфордском университете представил концепцию мультимодальных трансформеров, способных симулировать биологию опухоли и предсказывать ответ пациента на терапию. ## 🌍 Концепция моделей мира в биологии [[JUMP:04:37]] Основная цель современного ИИ, по мнению Эшеда Маргалита, — построение моделей мира, способных симулировать будущее состояние системы на основе текущих наблюдений и предполагаемых действий [04:51]. В контексте борьбы с раком это означает создание симулятора, который ответит на вопрос: «Что произойдет с опухолью конкретного пациента, если мы введем определенный препарат?» [23:04]. Спикер выделяет две ключевые задачи мультимодального обучения: * **Перевод (Translation):** Перенос информации из одной модальности в другую (например, генерация изображений по тексту) [08:19]. * **Устранение двусмысленности (Disambiguation):** Использование дополнительных потоков данных для восполнения «слепых зон» одной модальности. Маргалит приводит аналогию с пожарной тревогой: вид бегущих людей из здания двусмысленен, но звук сирены мгновенно проясняет ситуацию [08:59]. ## 🛠 5 стратегий слияния данных в трансформерах [[JUMP:10:05]] В современной литературе по машинному обучению Маргалит выделяет пять основных подходов к интеграции мультимодальных потоков, варьирующихся от раннего до позднего слияния (fusion): 1. **Совместные пространства эмбеддингов (Joint Embedding Spaces):** Метод контрастивного обучения (как в CLIP или ImageBind), где изображения и текст проецируются в единое пространство [10:56]. 2. **Прямая конкатенация raw-данных:** Самое раннее слияние, когда разные каналы (например, RGB и карта глубины) просто сшиваются в один входной тензор [13:37]. 3. **Перекрестное внимание (Cross-attention):** Промежуточное слияние, где один поток данных генерирует «запросы» (queries), а другой — «ключи» (keys) и «значения» (values) [14:30]. 4. **Смешивание токенов (Token Slapping):** Превращение всех типов данных в токены и их подача в единую последовательность (как в DALL-E 1) [16:27]. 5. **Адаптивная нормализация слоев (Adaptive LayerNorm):** Использование параметров (альфа, бета, гамма) для управления работой основного трансформера на основе дополнительной модальности [17:57]. Этот метод Маргалит называет наиболее эффективным по параметрам [18:50]. ## 🧬 Данные Noetik: От микроскопии до транскриптомики [[JUMP:22:25]] Для обучения моделей компания Noetik собирает уникальный массив данных из человеческих опухолей легких [25:31]. Процесс включает четыре уровня анализа одного и того же образца ткани диаметром 1 мм: * **H&E (Гематоксилин и эозин):** Стандартные изображения морфологии ткани. Они дешевы и широко доступны [26:08]. * **IF (Иммунофлуоресценция):** 16-канальные изображения белков, позволяющие идентифицировать типы клеток (Т-клетки, В-клетки, опухолевые клетки) [26:48]. * **Пространственная транскриптомика (Spatial Transcriptomics):** Измерение экспрессии от 1 000 до 18 000 генов с сохранением их точных координат в ткани [27:54]. По оценке Маргалита, Noetik владеет более чем 1% (возможно, до 2%) всех мировых данных, полученных на платформе CosMx [28:50]. * **Генетическое секвенирование (WES):** Анализ мутаций в ДНК пациента [29:03]. Маргалит продемонстрировал облако точек из 11 миллионов транскриптов РНК в крошечном фрагменте ткани, подчеркивая невероятную плотность биологической информации [30:13]. ## 🧠 Модель OCTO: Виртуальные клетки и маскирование [[JUMP:32:17]] Основная модель Noetik, получившая название OCTO, построена на архитектуре маскированных автоэнкодеров (MAE) [32:17]. Ключевые особенности архитектуры: * **Агрессивное маскирование:** В процессе обучения маскируется более 90% токенов (генов). Модель должна восстановить экспрессию гена, основываясь на минимальном контексте [33:10]. Это заставляет систему «учить» фундаментальную биологию, а не просто корреляции [39:11]. * **Пространственный контекст:** Для каждой клетки модель анализирует 8 ближайших соседей [35:20]. Информация о соседях пропускается через отдельный трансформер-бутылочное горлышко и подается в основную сеть через Adaptive LayerNorm [35:35]. * **Масштаб симуляций:** На текущий момент команда провела более 6 миллиардов симуляций виртуальных клеток [37:23]. ## 💊 In Silico Drug Discovery: Контрфактуальные симуляции [[JUMP:43:21]] Модель OCTO позволяет проводить «цифровые эксперименты». Например, исследователи могут взять реальный снимок ткани пациента и спросить модель: «Что будет, если мы искусственно подавим (knockout) определенный ген в окружении Т-клетки?» [40:17]. Результаты таких симуляций: * **Предсказание экспрессии:** Модель может генерировать карту экспрессии 1 000 генов, имея на входе только дешевое изображение H&E [45:27]. * **Восстановление генетики:** Кластеризация предсказанных профилей (через t-SNE) позволяет группировать пациентов по генетическим мутациям, даже если модель никогда не видела данных ДНК напрямую [49:37]. * **Выбор мишеней:** Симуляции показывают, какие манипуляции с генами переводят Т-клетки в состояние активного уничтожения опухоли (например, повышают уровень гранзима К) [52:47]. ## 🚀 Будущее: ИИ-агенты и новые горизонты [[JUMP:55:44]] Маргалит представил результаты работы с интерпретируемостью моделей через разреженные автоэнкодеры (SAE). Это позволяет автоматически сегментировать ткани и присваивать им биологические метки, понятные ученым [56:12]. В дискуссии о будущем отрасли спикер отметил: * **Проблема «здоровых» данных:** В распоряжении ученых в основном «снимки поля боя» (больные ткани), тогда как данных о том, как работает иммунная система в норме, крайне мало [1:02:31]. * **ИИ-агенты:** Маргалит оптимистичен в отношении использования LLM, обученных на всей научной литературе, для планирования экспериментов и использования инструментов симуляции [1:06:59]. * **Full-stack подход:** Noetik не просто создает модели, но и проверяет гипотезы в собственной лаборатории на мышиных моделях (in vivo) [1:03:41]. По мнению Маргалита, трансформеры — это идеальный «игровой полигон» для биологии, так как они позволяют объединять данные разных масштабов: от молекул до целых органов [56:54].