# «Это просто алгоритм»: Мосен Биотти об ограничениях медицинского ИИ

Источник: https://www.youtube.com/watch?v=9MQsJ_y8Py8
Канал: Stanford Graduate School of Business
Опубликовано: 11.06.2025

---

Внедрение искусственного интеллекта в сферу здравоохранения открывает колоссальные возможности для трансформации медицины, но одновременно порождает серьезные риски в области безопасности, где на кону стоят человеческие жизни. В новом выпуске подкаста «If Then» от Stanford Graduate School of Business старший редактор Кевин Кул и профессор Мосен Биотти обсуждают хрупкий баланс между медицинскими инновациями и безопасностью пациентов. В центре дискуссии — проблемы доверия к алгоритмам, специфика тестирования технологий в клинических условиях и долгосрочные перспективы роботизации врачебной деятельности.

## 🚊 Историческая аналогия: уроки моста Бэй-Бридж
[[JUMP:0:03]]

При обсуждении мостов в районе залива Сан-Франциско большинство людей сразу вспоминают знаменитый Золотые Ворота, однако настоящей «рабочей лошадкой» региона является мост Сан-Франциско — Окленд Бэй-Бридж. Архитектурный критик газеты San Francisco Chronicle Джон Кинг отмечает, что Бэй-Бридж, открывшийся в ноябре 1936 года — на полгода раньше своего культового соседа, — длиннее, массивнее и связывает две части региона гораздо более критичным образом. Проектирование и строительство этого сооружения в 1920-х и 1930-х годах столкнулось с колоссальными инженерными и политическими препятствиями, включая сопротивление ВМС США, опасавшихся за движение своих кораблей, пока в 1929 году президент Герберт Гувер не потребовал довести дело до конца.

Однако главную опасность для моста представляла сейсмическая угроза. Как подчеркивает Кинг, инженеры-конструкторы извлекают уроки из каждого крупного землетрясения в мире, учась на ошибках прошлого. Надежность Бэй-Бридж подверглась жесткой проверке в 1989 году, когда в регионе произошло разрушительное землетрясение магнитудой 6,9. Катастрофа показала, что вещи, казавшиеся надежными, могут стать смертоносными: верхний ярус моста обрушился на нижний, и лишь чудом погиб только один человек. Полноценное восстановление и открытие реконструированной секции состоялось лишь в 2013 году. По мнению Кинга, этот исторический пример иллюстрирует фундаментальную проблему: при внедрении любой новой критически важной технологии страх перед катастрофой часто затмевает восторг от открывающихся возможностей, особенно когда ставки равны жизни и смерти.

## 🏥 Почему здравоохранение нуждается в искусственном интеллекте
[[JUMP:03:46]]

Профессор кафедры операций, информации и технологий Высшей школы бизнеса Стэнфорда Мосен Биотти начал свой профессиональный путь как математик, однако вскоре разочаровался в чистой науке, поскольку решение абстрактных задач напоминало разгадывание головоломок, не приносящих очевидной пользы людям. Выбирая сферу для практического применения математических моделей, Биотти рассматривал финансовый сектор, но в итоге остановился на здравоохранении как области с максимально высоким социальным эффектом.

По мнению Биотти, современная медицина представляет собой идеальную среду для инноваций ИИ по нескольким причинам:

* Колоссальная доля медицинских расходов в ВВП, требующая оптимизации затрат.
* Огромный избыток нерешенных вопросов и проблем при дефиците готовых решений.
* Потребность практикующих врачей в быстрой обработке гигантских массивов неструктурированных данных.

Как утверждает профессор, в условиях стандартного 30-минутного приема врач может принимать до 10 пациентов в день. Если у пациента хроническое заболевание, клиницист физически не успевает детально изучить всю историю болезни, включая прошлые визиты, анализы, текстовые записи и снимки. Биотти отмечает, что даже отличные специалисты редко помнят все нюансы предыдущих приемов двухлетней давности, и пациентам приходится самостоятельно направлять их и напоминать детали. Внедрение ИИ способно радикально изменить эту ситуацию, агрегируя и анализируя данные тысяч похожих пациентов, что расширит информированность врачей и сбережет их драгоценное время.

## 🤝 Проблема доверия и цена ошибок ИИ
[[JUMP:07:37]]

Одним из главных барьеров на пути массового внедрения ИИ в медицине остается дефицит доверия со стороны медицинского персонала. Используя алгоритм, врач фактически делегирует системе свою обязанность по тщательному изучению профиля пациента. По оценке Биотти, доверие формируется исключительно эмпирическим путем: клиницист должен лично убедиться, что система принимает правильные решения как минимум в 20 случаях подряд.

В качестве примера Биотти приводит разработанное им приложение для автоматизации работы аптек. При обработке рецептов на сложные препараты (например, антикоагулянты) назначения врачей часто кодируются на специфическом кратком профессиональном языке. ИИ способен переводить эти шифры в понятный для пациента текст (например: «принимать по одной таблетке внутрь ежедневно»). Если система работает корректно, фармацевт просто одобряет рекомендацию. Однако, как подчеркивает профессор, даже одна грубая ошибка алгоритма — например, указание принимать инъекционный препарат перорально — мгновенно уничтожает все накопленное доверие специалиста к системе.

Аналогичная проблема возникает при прогнозировании рецидивов у пациентов, перенесших операцию или лучевую терапию по поводу рака простаты. Алгоритм выдает вероятность рецидива в диапазоне от 0 до 100%, маркируя пациентов по зонам риска на зеленую, желтую и красную категории. По словам Биотти, если врач видит «красный» уровень угрозы у абсолютно здорового по всем клиническим маркерам пациента и не находит этому логических подтверждений в карте, он немедленно перестает доверять ИИ.

## 📊 Специфика тестирования и текущие успехи внедрения
[[JUMP:12:09]]

Отсутствие доверия со стороны пользователей блокирует эволюцию ИИ, поскольку многие алгоритмы способны совершенствоваться только на основе обратной связи в процессе реальной эксплуатации. Биотти указывает на ключевое различие в развертывании ИИ между технологическими компаниями и сферой здравоохранения. В ИТ-индустрии, например в сервисах заказа такси (таких как Uber), алгоритмы постоянно тестируются в реальном времени с помощью A/B-тестов для повышения точности прогнозирования времени ожидания. Если тест выявляет неэффективность нового алгоритма, его просто отключают. В медицине подобное «тестирование на живом производстве» невозможно по этическим соображениям, поскольку нельзя случайным образом распределять методы лечения между пациентами.

Тем не менее, в индустрии уже есть признанные истории успеха:

* Радиология: по данным Биотти, около 3/4 всех медицинских ИИ-технологий, одобренных FDA, относятся именно к радиологии. Методы глубокого обучения (deep learning) демонстрируют исключительную точность в анализе медицинских изображений, а процесс верификации со стороны врача занимает секунды — достаточно взглянуть на обведенную алгоритмом опухоль.
* ИИ-ассистенты для ведения записей: современные генеративные модели способны легально прослушивать диалог врача и пациента, автоматически формируя структурированные медицинские заметки.

Собеседники сошлись во мнении, что автоматизация ведения медицинских карт снимает колоссальное бремя рутины с плеч врачей и повышает их удовлетворенность работой. В то же время Биотти призывает к крайней осторожности: пресса регулярно сообщает о случаях, когда генеративные модели (например, ChatGPT) додумывают и фальсифицируют целые абзацы текста при транскрибации. Обязанность по финальной верификации данных по-прежнему лежит на человеке, и чрезмерная вера в непогрешимость машин опасна. Отдельной проблемой остаются вопросы приватности данных пациентов и риски их утечки при обучении моделей.

## 🤖 Алгоритмы против «всеведения»: природа и ограничения моделей
[[JUMP:17:00]]

Для минимизации рисков пользователям необходимо понимать фундаментальную природу ИИ. Биотти напоминает, что даже самые мощные современные системы — это не мыслящие всеведущие существа, а всего лишь прогностические математические алгоритмы. В отличие от традиционного программного обеспечения на смартфонах и компьютерах, где нажатие кнопки всегда приводит к строго детерминированному результату, ИИ носит сугубо вероятностный (пробабилистический) характер. Задавая один и тот же вопрос в разное время, пользователь может получать разные ответы, так как модель генерирует случайную выборку из распределения вероятностей. ИИ не «думает» в человеческом понимании, а последовательно вычисляет наиболее вероятное следующее слово в текстовой цепочке.

В этой связи встает острая проблема выравнивания (alignment) ИИ — соответствия действий алгоритма истинным целям пользователя. Профессор подчеркивает, что базовые модели обучаются на колоссальных массивах данных, содержащих, помимо научных статей, низкокачественный контент из блогов и форумов вроде Reddit, содержащий ошибки и дезинформацию. По данным исследования компании Anthropic, методы пост-тренинговой настройки и модерации (post-training) не способны полностью искоренить эти ошибки из архитектуры весов крупной нейросети. Неверные факты продолжают скрыто существовать в модели и могут внезапно всплыть на поверхность под воздействием специфического пользовательского промпта. Именно поэтому в таких критических сферах, как медицина, жесткие защитные барьеры (safety guardrails) останутся необходимыми даже тогда, когда ИИ станет кратно мощнее.

## 🔮 Перспективы масштабирования и взгляд в 2050 год
[[JUMP:21:10]]

В рамках своих текущих исследований Мосен Биотти совместно с группой студентов пытается математически смоделировать проблему выравнивания. Существует популярная гипотеза, что по мере увеличения количества параметров нейросетей и объемов обучающих данных системные ошибки и галлюцинации исчезнут сами собой. Однако, как заявляет профессор, их первоначальные математические выводы опровергают это утверждение: ошибки и искажения продолжают персистировать в данных независимо от масштаба модели. Другим направлением работы Биотти является адаптация методологии экспериментов. Например, во время пандемии COVID-19 классические A/B-тесты оказались неэффективными, поскольку при изучении заразного заболевания лечение одной группы пациентов косвенно снижало риски заражения для контрольной (плацебо) группы, что искажало чистый математический результат.

Давая рекомендации лидерам индустрии здравоохранения, Биотти призывает их к терпению и бдительности. При внедрении ИИ положительный экономический и клинический эффект редко проявляется мгновенно; на начальных этапах из-за изменения интерфейсов и процессов качество ухода за пациентами или скорость обработки рецептов могут даже временно снизиться. Руководителям необходима взвешенная стратегия, сочетающая в себе долгосрочное видение, терпение и жесткий контроль качества ухода.

Прогнозируя состояние медицины к 2050 году, Биотти признает сложность долгосрочного планирования. Полтора десятилетия назад он уже давал оптимистичный прогноз развития ИИ на 5 лет вперед и серьезно ошибся — тогда реальные темпы внедрения оказались намного медленнее ожидаемых. Тем не менее, события последних 2,5 лет, ознаменовавшиеся выходом ChatGPT и взрывом генеративных моделей, Биотти называет беспрецедентными. Скорость технологического прогресса растет по экспоненте, в том числе потому, что ученые начинают использовать сам ИИ для ускорения научных исследований. Профессор выражает уверенность, что через 25 лет человечество будет полагаться на искусственный интеллект в колоссальной степени.