# Как объяснить «черный ящик»: Су-Ин Ли о революции ИИ в медицине

Источник: https://www.youtube.com/watch?v=A80R4Jcgx2A
Канал: The TWIML AI Podcast
Опубликовано: 14.08.2023

---

В новом выпуске подкаста The TWIML AI Podcast ведущий Сэм Черрингтон обсудил с профессором Вашингтонского университета Су-Ин Ли (Su-In Lee) перспективы применения объяснимого искусственного интеллекта (xAI) в биологии и клинической медицине. Исследовательница рассказала, почему стандартные методы интерпретации моделей «из коробки» не дают ученым реальных биологических инсайтов и как её лаборатория разрабатывает новые теоретические фреймворки. Ключевым фокусом беседы стали вопросы синергии лекарств при лечении рака крови, а также аудит алгоритмов компьютерного зрения с помощью контрфактуального анализа изображений.

## 🧬 Путь на стыке наук: от микрочипов до электронных медицинских карт
[[JUMP:0:00]]

Развитие современной медицины все теснее связывается с технологиями анализа данных. По воспоминаниям Су-Ин Ли, её собственный академический путь начинался в области чистого машинного обучения. Во время обучения в докторантуре Стэнфордского университета она специализировалась на алгоритмах работы с высокомерными данными. В тот период в биологии происходил бум технологий микрочипов (microarray data) — революционного метода, позволявшего одновременно измерять уровни экспрессии более чем 20 000 генов. 

Это событие полностью изменило научные интересы исследовательской группы. Как отмечает профессор, она мгновенно осознала: если специалисты по машинному обучению смогут создать мощные инструменты для точного определения причин сложных заболеваний (таких как рак) и поиска терапевтических мишеней, это принесет колоссальную пользу как фундаментальной науке, так и практическому здравоохранению. 

После перехода в Вашингтонский университет, известный своей сильной медицинской школой, Су-Ин Ли получила доступ к реальным клиническим данным и электронным медицинским картам (EHR). Тесное взаимодействие со специалистами из отделов анестезиологии, дерматологии и неотложной помощи позволило ей сформировать уникальный профиль исследований. Сегодня работа её лаборатории строится на пересечении трех ключевых дисциплин:

* Машинное обучение и искусственный интеллект (разработка базовых алгоритмов).
* Вычислительная биология (поиск молекулярных механизмов заболеваний).
* Клиническая медицина (создание диагностических систем и инструментов аудита ИИ).

### 🗣️ Концепция «мультиязычного» исследователя будущего

По мнению Су-Ин Ли, в долгосрочной перспективе биология и медицина неизбежно сольются в единую дисциплину. Уже сегодня в онкологии клиницисты активно собирают молекулярно-биологические и генетические данные пациентов. Главная задача ИИ в этом контексте — подсказать врачу, какая именно комбинация противоопухолевых препаратов сработает наилучшим образом для конкретного человека. Для этого математические модели должны опираться на глубокое механистическое понимание биологии рака.

Чтобы совершить качественный рывок в этой области, как утверждает гостья подкаста, современной науке необходимы специалисты совершенно нового типа:

* Ученые должны стать «двуязычными» или даже «трехязычными», объединяя в одной голове мышление эксперта по машинному обучению, профессионального биолога и практикующего врача.
* Традиционная модель, основанная исключительно на изолированном сотрудничестве (когда «сухой» ИТ-специалист просто обрабатывает данные, полученные биологом из «мокрой» лаборатории с пипеткой в руках), постепенно уступает место междисциплинарным кафедрам вычислительной биологии и биомедицины.

## 🔍 Кризис «коробочных» решений: почему стандартный xAI не работает в биологии
[[JUMP:06:51]]

Фундаментальная основа объяснимого искусственного интеллекта (xAI) опирается на концепцию «приписывания признаков» (feature attributions). Когда имеется сложная модель или глубокая нейросеть («черный ящик»), принимающая на вход вектор признаков X и выдающая предсказание Y, математические фреймворки пытаются определить, какие именно входные параметры внесли наибольший вклад в итоговый результат. Одним из наиболее строгих и популярных подходов здесь является фреймворк SHAP, базирующийся на математическом аппарате теории кооперативных игр.

Однако, по заверению Су-Ин Ли, если попытаться применить стандартные, коммерческие xAI-алгоритмы к сложным биологическим задачам без адаптации, они окажутся практически бесполезными.

### 🧪 Ограничения попиксельного и погенного анализа

В биологических системах разрозненные показатели не имеют самостоятельного веса. Профессор выделяет следующие ключевые ограничения классического подхода:

1. При анализе экспрессии 20 000 генов стандартный алгоритм выдаст лишь изолированные оценки важности для каждого гена в отдельности. Для ученого-биолога эта информация не несет ценности. Ему необходимо понимать системный контекст: как эти гены взаимодействуют друг с другом, в какие биологические пути (pathways) они объединены и как их синергия влияет на прогноз выживаемости пациента или чувствительность опухоли к терапии.
2. В задачах клинической медицины (например, при анализе дерматологических снимков на наличие меланомы с помощью глубоких нейросетей) ситуация аналогична. Обычные xAI-методы подсвечивают на картинке конкретные пиксели, определившие диагноз. По словам гостьи, это почти ничего не говорит врачу об истинной логике рассуждений «черного ящика».

В качестве решения Су-Ин Ли предлагает использовать контрфактуальный анализ (counterfactual generation). Суть метода заключается в генерации минимальных, реалистичных изменений на исходном медицинском изображении, которые заставляют модель изменить свое решение (например, переквалифицировать снимок из категории «меланома» в категорию «норма»). Только наблюдая за тем, какие именно системные визуальные паттерны меняются при переходе через границу принятия решений, медицинский эксперт может верифицировать логику ИИ. Таким образом, индустрии требуется переход от попиксельного объяснения к системному и процессному уровню интерпретации.

## 🛠️ Математическое ядро: унификация методов и борьба за вычислительную скорость
[[JUMP:13:54]]

Научная группа Су-Ин Ли внесла фундаментальный вклад в развитие теории машинного обучения. В знаковой работе, представленной на конференции NeurIPS в 2017 году, исследователи доказали, что огромный массив литературы по объяснимому ИИ — а именно 25 популярнейших методов feature attribution — фактически подчиняются одному и тому же математическому принципу. Все они строят свои объяснения через механизм «удаления признаков» (explaining by removing features), оценивая важность параметра путем его исключения или изоляции различных подмножеств данных. 

Это открытие позволило глубже понять, почему алгоритмы совершают ошибки, и заложило основу для создания более совершенных систем интерпретации.

### ⚡ Семейство алгоритмов SHAP и преодоление комбинаторного взрыва

Название фреймворка SHAP расшифровывается как SHapley Additive exPlanations (Шепли-аддитивные объяснения). Профессор с улыбкой вспоминает, что столь удачную аббревиатуру выбрал первый автор статьи — её студент, решивший использовать третью букву слова Shapley ради красивого названия, которое она сама очень любит.

С точки зрения математики вычисление точных значений Шепли сопряжено с колоссальными трудностями, так как требует экспоненциального объема вычислений из-за перебора всех возможных комбинаций признаков. Чтобы сделать метод применимым на практике, лаборатория разработала целую экосистему быстрых статистических методов аппроксимации, сохраняющих при этом строгие теоретические свойства сходимости:

* **TreeSHAP** — оптимизированная версия для ансамблей решающих деревьев (например, XGBoost, Random Forest).
* **DeepSHAP** — адаптированный алгоритм для глубоких нейросетей.
* **Vision Transformer SHAP** — специализированное решение для современных визуальных трансформеров.
* **FastSHAP** — высокоскоростной метод оценки значений общего назначения.

### 🛡️ Защита от состязательных атак: удаление против градиентов

Важным направлением последних исследований лаборатории стало изучение робастности (устойчивости) объяснений ИИ перед лицом целенаправленных состязательных атак (adversarial attacks). Ранее ученые детально исследовали уязвимость самих предсказаний нейросетей, но теперь фокус сместился на защиту алгоритмов интерпретации.

Как утверждает Су-Ин Ли, их последние тесты продемонстрировали, что подходы, основанные на удалении признаков (включая SHAP), значительно более устойчивы к манипуляциям злоумышленников, чем альтернативный класс методов — так называемые градиентные методы или методы обратного распространения (propagation-based / gradient-based approaches). 

Тем не менее, за надежность приходится платить вычислительной сложностью. В то время как вычисление градиентов в нейросети происходит относительно быстро, перебор подмножеств признаков в SHAP требует гигантских ресурсов. В эпоху огромных языковых моделей (LLM) с миллиардами параметров это становится серьезным барьером, поэтому оптимизация вычислений без потери математической строгости остается главным приоритетом лаборатории.

## 🩸 Прорыв в онкологии: алгоритмы SHAP против острого миелоидного лейкоза
[[JUMP:22:17]]

Практическую силу разработанных методов команда Су-Ин Ли продемонстрировала в масштабном исследовании, результаты которого были опубликованы в престижном научном журнале *Nature Biomedical Engineering*. В качестве полигона для испытаний был выбран острый миелоидный лейкоз (ОМЛ) — крайне агрессивная и опасная разновидность рака крови, чаще всего поражающая пожилых людей.

Золотым стандартом в лечении подобных онкологических заболеваний сегодня признана комбинированная терапия. Назначая пациенту одновременно 2–3 химиотерапевтических препарата, бьющих по взаимодополняющим биологическим путям, врачи стремятся достичь эффекта синергии, максимизируя уничтожение раковых клеток. Однако подбор оптимальных пар — это сложнейшая комбинаторная задача. На рынке присутствуют сотни одобренных FDA противоопухолевых средств, что порождает десятки тысяч потенциальных парных комбинаций (и еще больше, если учитывать экспериментальные молекулы). Ситуация усложняется тем, что из-за уникальных генетических особенностей разные пациенты реагируют на одну и ту же комбинацию совершенно по-разному.

### 🤖 Машинное обучение на страже персонализированной медицины

Ученые формализовали этот вызов как классическую задачу машинного обучения:

1. **Входные данные:** Вектор экспрессии генов пациента (из очищенного образца крови выделяются исключительно раковые клетки, после чего измеряются уровни активности более 20 000 генов). Этот массив дополняется структурными характеристиками лекарств А и В, а также данными об их биологических мишенях.
2. **Выход модели:** Точечный прогноз синергетического эффекта между выбранными препаратами.

В подобной высокоответственной сфере слепо доверять предсказаниям «черного ящика» нельзя. Рассчитав значения SHAP для тысяч комбинаций у множества пациентов, команда Су-Ин Ли провела комплексный статистический анализ полученных объяснений. 

Это позволило обнаружить фундаментальный, ранее неизвестный биологический паттерн — так называемый «сигнатурный профиль стволовых кроветворных клеток» (hematopoietic stem cell-like signature), или путь стволовости (stemness pathway). Опухоли могут быть более дифференцированными или менее дифференцированными (последние имеют гораздо более тяжелый прогноз для выживания). Анализ объяснений ИИ показал четкую закономерность: максимальный синергетический эффект достигается тогда, когда один препарат атакует менее дифференцированные (стволовые) раковые клетки, а второй — прицельно бьет по более дифференцированным клеткам. Таким образом, ИИ помог не просто предсказать успех лечения, а сформулировать новый общебиологический принцип проектирования противоопухолевых стратегий.

Как поясняет Су-Ин Ли, выбор пал на острый миелоидный лейкоз главным образом из-за доступности качественных наборов данных. Ткани крови намного проще получить для анализов и измерения синергии лекарств в лаборатории, нежели образцы плотных солидных опухолей. Тем не менее, по мнению гостьи, разработанный методологический подход полностью универсален и может быть масштабирован на любые другие виды онкологических заболеваний.

## 📊 Преодоление барьеров: борьба с корреляцией генов и гибкие вычисления
[[JUMP:29:34]]

Ведущий подкаста Сэм Черрингтон высказал закономерное опасение: биологические пути сами по себе непрерывно исследуются и постоянно пересматриваются, поэтому жесткая привязка алгоритмов к существующим базам знаний может сделать систему слишком хрупкой. Су-Ин Ли полностью согласилась с этим тезисом, подчеркнув, что гибкость — важнейшее требование к биоинформатическим методам.

### 🧬 Принцип «чистого листа» и апостериорные тесты

По словам профессора, их модель при обучении вообще не использовала априорные знания о биологических путях. Каждый ген рассматривался алгоритмом как изолированный, независимый признак. Лишь после завершения обучения и извлечения всех математических объяснений (значений SHAP) ученые проводили апостериорный (post-hoc) статистический анализ — например, точный тест Фишера (Fisher's exact test) с жесткой поправкой на множественное тестирование. Это позволило математически доказать, что выявленные ИИ скопления важных генов действительно соответствуют реальным биологическим процессам, не загоняя модель в рамки старых догм.

### 🧩 Решение проблемы сильной корреляции признаков

Еще одним критическим вызовом для фундаментального ИИ стала проблема скоррелированности признаков, которая в биомедицинских данных встречается повсеместно (экспрессия генов носит ярко выраженный модульный характер, когда целые группы молекул активируются строго одновременно). Для классического метода SHAP это колоссальная проблема: если два гена коррелируют идеально, математически существует бесконечное множество способов распределить важность между ними, что приводит к дестабилизации объяснений.

В статье для *Nature Biomedical Engineering* команда Ли представила эффективное решение этой проблемы:

* Вместо обучения одной нейросети использовались ансамбли моделей (в данном случае — ансамбли решающих деревьев).
* Значения feature attributions извлекались из множества независимых моделей, после чего усреднялись.

Эксперименты подтвердили, что такой подход обеспечивает высокую робастность и стабильность объяснений даже в условиях экстремальной взаимозависимости признаков.

## 🚀 Взгляд в будущее: от анализа единичных клеток до тотального аудита нейросетей
[[JUMP:35:24]]

Говоря о долгосрочных планах, Су-Ин Ли выделила несколько прорывных направлений, в которых её лаборатория ведет активную работу. Первое из них связано с развитием фундаментального ИИ для мультимодальных данных (когда признаки принадлежат к принципиально разным категориям) и адаптацией методов объяснения для гигантских базовых моделей и LLM. Кроме того, ученые активно развивают концепцию «важности на основе объектов» (sample-based importance). С помощью транспонирования матриц признаки и объекты меняются местами, что позволяет рассчитывать значения Шепли для определения того, какие конкретно обучающие примеры оказали наибольшее влияние на поведение модели. По мнению профессора, это критически важно для глубокого аудита безопасности больших языковых моделей.

### 🧬 Революция single-cell и мультиомиксные данные

Вторым масштабным вектором исследований стал анализ данных на уровне единичных клеток (single-cell data science). Одно подобное лабораторное исследование способно сгенерировать колоссальные массивы информации, что идеально подходит для обучения глубоких нейросетей. Ситуация осложняется тем, что современная наука переходит к мультиомиксным подходам, одновременно замеряя не только экспрессию генов, но и другие сложнейшие генетические и эпигенетические параметры, многократно увеличивая размерность матриц.

Главный вопрос, на который пытается ответить команда Ли: как заставить базовые модели ИИ, обучающиеся на single-cell данных, формировать биологически интерпретируемое пространство представлений (biologically interpretable representation space)? В биологии истинной функциональной единицей является не отдельный изолированный ген, а скоординированная система. Исследователи стремятся к тому, чтобы ИИ изначально оперировал понятными человеку сущностями, что позволит ученым безопасно совершать фундаментальные открытия и доверять выводам моделей.

### 🩺 Аудит клинического ИИ: тревожные сигналы в дерматологии

В сфере практического здравоохранения лаборатория Су-Ин Ли сосредоточилась на жестком независимом аудите уже существующих медицинских ИИ-систем. В работе, находящейся на стадии рецензирования, ученые провели всестороннее тестирование коммерческих и академических нейросетей для диагностики меланомы по фотографиям кожи. Некоторые из этих алгоритмов были ранее описаны в высокорейтинговых медицинских журналах или уже доступны обычным пользователям через мобильные приложения.

Результаты независимого тестирования на отложенных выборках (held-out samples), по признанию Су-Ин Ли, оказались весьма тревожными и вызывающими серьезные опасения относительно безопасности применения этих технологий на практике.

В процессе выявления скрытых изъянов моделей неоценимую роль сыграл объяснимый ИИ. Используя разработанный метод генерации контрфактуальных изображений, исследователи смогли наглядно увидеть истинный «процесс мышления» протестированных классификаторов. Профессор убеждена, что простого попиксельного выделения зон на картинке категорически недостаточно для сертификации медицинских продуктов. Разработка глубоких, процессуальных методов аудита клинического ИИ — это единственный способ гарантировать, что технологии будут лечить людей, а не наносить им вред.