В новом выпуске подкаста Stanford Health Care AI ведущие Джастин Норден и Мэтт Лунгрен обсудили с врачом, технологом и советником FDA доктором Шантану Нунди перспективы и вызовы интеграции искусственного интеллекта в современную медицину. Основное внимание собеседники уделили проблеме доверия к алгоритмам, феномену «усталости от уведомлений», приведшему к реальной трагедии, и острой необходимости создания национальной системы пострегистрационного мониторинга медицинского ИИ. Эксперты сошлись во мнении, что главным барьером для технологий будущего становится не точность или стоимость моделей, а готовность существующей социально-технической инфраструктуры здравоохранения к их безопасному внедрению.
📊 Повседневный ИИ: от бытовых текстов к медицинским консультациям 0:15
Согласно официальным данным, опубликованным компанией OpenAI, миллионы людей по всему миру начали активно использовать инструменты генеративного искусственного интеллекта в повседневной жизни. Джастин Норден обратил внимание на то, что от 5% до 10% всех разговоров пользователей с ChatGPT напрямую касаются вопросов здоровья. В частности, статистика OpenAI указывает, что около 6% запросов приходятся на поиск практических медицинских рекомендаций. Аналогичные тренды фиксирует и компания Google, подтверждая, что связанные со здоровьем поисковые запросы стабильно остаются одними из самых популярных среди потребителей.
Доктор Шантану Нунди поделился личным опытом эволюции взаимодействия с большими языковыми моделями (LLM). По его словам, его личный путь начался с использования ИИ в качестве технического корректора, затем — «призрака пера» (ghostwriter), а сегодня алгоритмы выполняют для него функции полноценного аналитика. Нунди подчеркнул, что этот рост во многом обусловлен не только зрелостью самих технологий, но и его собственным навыком составления сложных, многоуровневых промптов для решения высокоуровневых задач.
В то же время Мэтт Лунгрен высказал критическое замечание относительно текущего качества контента в публичном пространстве. Он отметил, что до 40% использования ИИ на рабочем месте связано с написанием текстов, и это привело к засилью шаблонных публикаций в социальных сетях вроде LinkedIn или Twitter. Лунгрен признался, что засилье «ИИ-шлака» (AI slop) подрывает доверие к авторам, из-за чего он сам теперь подсознательно ищет в постах грамматические ошибки или стилистические неровности как доказательство живого человеческого присутствия. В ответ Шантану Нунди иронично заметил, что главным маркером текста от ИИ часто становится использование двойного дефиса.
🎥 Генерация видеоконтента и риски фальсификации врачебной личности 5:09
Хотя технологии генерации изображений и видео пока менее заметны в сфере непосредственного лечения пациентов, скорость их развития поражает экспертов. Джастин Норден упомянул недавние релизы ИИ-моделей Sora 2 от OpenAI и Veo 3 от Google, которые кардинально упростили процесс создания высококачественного видео.
Однако этот технологический прорыв породил новую угрозу для индустрии здравоохранения. Собеседники обсудили участившиеся случаи создания дипфейков реальных практикующих врачей. Злоумышленники используют их имена, лица и завоеванную годами репутацию для рекламы сомнительных медицинских продуктов или распространения недостоверных советов.
Оценивая творческий потенциал новых инструментов, Мэтт Лунгрен отметил:
- Соотношение сигнала и шума в ИИ-видео пока остается очень сложным, но редкие качественные примеры действительно демонстрируют врожденный гений и креативность создателей.
- Инструменты генерации демократизируют творчество, однако обывательские попытки часто выглядят нелепо — Лунгрен со смехом рассказал, что его собственные дети назвали созданные им ролики «кринжем», после чего он оставил эти попытки.
📉 Экономика ИИ: стремительное удешевление технологий 7:13
Важной вехой для индустрии стал выход ежегодного отчета State of AI Report, составляемого Натаном Бенайчем, который детально фиксирует изменения на рынке ИИ. Лунгрен призвал обратить внимание на то, что в публичном поле часто обсуждается рост возможностей моделей, но практически игнорируется феномен их стремительного удешевления и демократизации. По его мнению, скорость падения стоимости доступа к вычислительным мощностям превосходит даже темпы развития раннего интернета.
Шантану Нунди согласился с тем, что доступность технологий является ключевым фактором для американской медицины, страдающей от высокой стоимости услуг. Он рассказал о недавней встрече с командой OpenAI, где разработчики подтвердили примечательный факт:
«Модель, которую они изначально создавали как облегченную и дешевую версию, сегодня работает на том же уровне эффективности, что и их лучшая флагманская модель всего три или четыре месяца назад».
Джастин Норден добавил, что гонка за снижение стоимости дополнительно подстегивается бурным развитием open-source моделей. Руководители медицинских систем часто называют высокую стоимость внедрения ИИ главным препятствием, однако Норден убежден, что жесткая рыночная конкуренция неизбежно и быстро обнулит этот барьер.
🚨 Трагедия из-за «усталости от уведомлений»: уроки одного судебного иска 9:40
В качестве примера того, что происходит при столкновении передовых технологий с реальной практикой, Шантану Нунди привел недавнюю публикацию в The New York Times. В статье описывалась гибель студента колледжа, который обратился в отделение неотложной помощи (ER) больницы Columbia с симптомами гриппа, был выписан домой с диагнозом «вирусное заболевание», но через несколько дней вернулся и скончался от сепсиса. Судебное разбирательство выявило, что в больнице была установлена автоматизированная система ИИ-оповещения о сепсисе. Алгоритм сработал корректно и выдал положительный сигнал тревоги, однако дежурный врач его просто проигнорировал.
Доктор Нунди признался, что, будучи практикующим врачом, прекрасно понимает мотивы этого коллеги. Он открыто сообщил, что сам регулярно отключает в своей медицинской системе всплывающие окна, предупреждающие о межлекарственном взаимодействии или аллергиях. По мнению Нунди, эта трагедия обнажает фундаментальный сдвиг: главным барьером для ИИ становится не точность алгоритма, а социально-технические факторы и интеграция в рабочие процессы врачей.
В условиях колоссальной перегрузки врачи засыпаны сотнями автоматических предупреждений. В результате возникает опасный феномен, который Мэтт Лунгрен сравнил с поведением автомобилистов в мегаполисе, где все непрерывно сигналят по малейшему поводу — со временем этот шум просто сливается с фоном. Шантану Нунди добавил, что в классической литературе это называется метафорой «мальчик, который кричал: „Волки!“».
Ситуация усугубляется юридическими парадоксами. По словам Нунди, из-за страха перед судебными исками некоторые американские госпитальные сети сейчас всерьез обсуждают возможность полного отключения ИИ-оповещений. Логика администраторов цинична: если в больнице вообще нет системы обнаружения сепсиса, то у врача нет риска проигнорировать предупреждение, а значит, клинику труднее обвинить в халатности. Нунди назвал этот подход в корне неверным и противоположным целям технологического прогресса.
🏛️ Миссия FDA и «пять чисел» Шантану Нунди 13:31
Рассказывая о своей работе в качестве советника Управления по санитарному надзору за качеством пищевых продуктов и медикаментов США (FDA), Шантану Нунди отметил высочайший академический уровень ученых и рецензентов ведомства, многие из которых посвятили регуляторике по 10–20 лет после защиты диссертаций. При этом Нунди подчеркнул, что в исторической миссии FDA — «продвигать и защищать» (promote and protect) — защитная функция традиционно превалирует над развитием.
Чтобы донести до коллег по FDA чувство экстренной необходимости перемен, Нунди сформулировал пять базовых статистических показателей, которые он сознательно повторяет на каждом рабочем совещании:
- 100 миллионов человек в США не имеют постоянного, регулярного доступа к медицинской помощи.
- 75 миллионов американцев проживают в так называемых «медицинских пустынях» (регионах с острой нехваткой врачей).
- Врачебная ошибка является третьей по значимости причиной смертности в стране.
- 95% редких заболеваний на сегодняшний день не имеют вообще ни одного одобренного FDA метода лечения.
- Ожидаемая продолжительность жизни в США стагнирует и уже на 4 года отстает от средних показателей других стран ОЭСР (OECD).
По мнению эксперта, обсуждая риски новых медицинских ИИ-устройств, регуляторы часто забывают о цене бездействия (counterfactual). Нунди напомнил о классическом Гарвардском исследовании медицинской практики (Harvard Medical Practice Study), проведенном еще в прошлом веке, которое доказало: из-за системных врачебных ошибок в США ежедневно «разбивается условный пассажирский джамбо-джет». Поэтому оценивать вред от возможной ошибки ИИ необходимо в сравнении с тем колоссальным объемом вреда, который уже существует в системе из-за недоступности или низкого качества человеческой помощи.
🚗 Синдром автопилота: почему мы судим ИИ строже, чем людей 16:00
Джастин Норден провел параллель между медицинской робототехникой и индустрией беспилотных автомобилей. Он указал на масштабные данные, опубликованные компанией Waymo: статистика их аварийности доказывает, что масштабирование автопилотов уже сегодня потенциально спасает тысячи человеческих жизней. Тем не менее в обществе наблюдается психологический феномен: к ошибкам ИИ предъявляются несопоставимо более жесткие требования, чем к действиям людей. Общество готово смириться с авариями по вине пьяных водителей, так как «принюхалось» к этой угрозе, но единичное ДТП с участием робомобиля вызывает общенациональный резонанс.
Дополнительной проблемой тестирования медицинского ИИ является то, что сейчас оно проводится преимущественно в симулированных, гипотетических средах на ограниченных выборках в несколько тысяч случаев. В реальном мире алгоритмами будут пользоваться сотни миллионов людей, что неизбежно выведет технологию в зону так называемого «длинного хвоста» (long tail) редких сценариев.
В качестве иллюстрации Шантану Нунди привел данные, полученные им от инженеров поисковой системы Google:
- Даже сегодня, спустя десятилетия развития интернета, от 10% до 15% всех ежедневных поисковых запросов в Google формулируются пользователями абсолютно впервые в истории.
- Этот нескончаемый поток уникальных формулировок доказывает невозможность предугадать все варианты поведения человека на этапе предварительного тестирования.
По словам Мэтта Лунгрена, сейчас в сознании потребителей формируются два противоположных нарратива. С одной стороны — страх перед масштабными системными сбоями алгоритмов, с другой — реальные истории пациентов, которые не смогли получить верный диагноз в клинике, ввели свои симптомы в ChatGPT, получили точный ответ и впоследствии подтвердили его у врачей.
🔬 Переход к пострегистрационному мониторингу и цифровым испытаниям 20:53
Традиционная модель вывода лекарств на рынок включает три фазы клинических исследований, за которыми следует четвертая — постмаркетинговый надзор. Однако в медицине эта система исторически работает неэффективно. Доктор Нунди утверждает, что до половины применяемых методов лечения в реальной практике не имеют строгой доказательной базы, и наоборот — половина требований доказательной медицины не соблюдается на местах. Пациенты, приходящие на прием к врачу, разительно отличаются от идеализированных групп отбора в клинических испытаниях.
В отличие от химической таблетки, состав которой неизменен после одобрения, медицинский ИИ непрерывно эволюционирует, а сами базовые технологии обновляются каждые несколько месяцев. Именно поэтому FDA сделало шаг вперед, опубликовав официальный документ о внедрении систем мониторинга в реальном мире (Real World Monitoring). Ведомство признает, что наука оценки динамического софта еще только формируется, и приглашает к сотрудничеству академические круги и бизнес.
Параллельно обсуждается еще более революционная концепция — проведение цифровых клинических испытаний (digital trials). Мэтт Лунгрен назвал «научной фантастикой, ставшей реальностью» возможность проецирования исходов лечения на основе массивов исторических данных. Алгоритмы способны моделировать виртуальные контрольные группы пациентов с такой точностью, что это позволит кардинально ускорить вывод на рынок новых спасительных технологий без малейшего риска для безопасности живых людей.
🔧 Инфраструктурный тупик: почему электронные медкарты не видят ИИ 24:38
Главным техническим препятствием на пути к созданию системы безопасности ИИ Шантану Нунди назвал отсутствие базового «цифрового водопровода» (data plumbing) в американских больницах. Он описал следующий мысленный эксперимент: даже если бы FDA получило прямой доступ к потоку данных из всех электронных медицинских карт (EHR) в стране, ведомство все равно не смогло бы отследить работу ни одного медицинского искусственного интеллекта.
Причина кроется в особенностях фиксации информации в EHR:
- Когда врач выписывает пациенту обычную таблетку, в систему автоматически заносится ее уникальный Национальный код препарата (NDC), факт отправки электронного рецепта и запись в файле страхового иска.
- Когда врач использует клиническую нейросеть (например, OpenEvidence) для принятия решения по конкретному больному, в электронной медкарте не остается вообще никаких следов этого действия.
В индустрии отсутствует аналог кодов NDC для программного обеспечения — система уникальных идентификаторов устройств, которая бы фиксировала точную версию алгоритма, дату его обновления, а также то, какие именно входящие данные (inputs) были в него загружены и какой ответ (outputs) был получен на выходе. Без этого невозможно «перемотать пленку» назад в случае ухудшения состояния условной пациентки Мэри Смит, чтобы понять, совершил ли ошибку алгоритм или сам врач.
Джастин Норден подтвердил масштабы этой проблемы, поделившись инсайдом из закрытых разговоров с руководством крупных госпитальных сетей. По его словам, большинство больниц в США на сегодняшний день физически не знают, какие именно инструменты ИИ используют их сотрудники на рабочих местах. Дошло до того, что в одной из медицинских систем директор по информационной безопасности (CISO) был немедленно уволен после того, как руководство задало ему этот вопрос, а он не смог предоставить список активного ИИ-софта. Крупный госпиталь может оперировать пулом от 2 до 20 тысяч различных программных систем, и каждый из этих сторонних вендоров сейчас скрыто или явно внедряет элементы ИИ в свои обновления.
🛠️ Риск-ориентированный подход: опыт ортопедических отзывов 29:22
Чтобы не утонуть в хаосе тысяч неконтролируемых ИИ-приложений, FDA применяет строгую риск-ориентированную модель (risk-based framework). По словам Нунди, ведомство четко разграничивает софт, требующий жесткого надзора, и приложения, не подлежащие медицинскому регулированию. К последним относятся, например, велнес-трекеры или ИИ-стенографисты (ambient scribes), фиксирующие разговор врача с пациентом на приеме — они выводятся за рамки жесткого контроля, что сокращает фокус внимания регулятора до пары десятков критически важных технологий.
В качестве готовойScaffolding-модели, которую можно перенять для ИИ, Нунди привел существующую в США систему контроля ортопедических имплантатов. FDA регулирует около 20% всей американской экономики, включая производство коленных суставов или медицинских винтов. Для них развернута система уникальных идентификаторов устройств (Unique Device Identifiers, UDI). Если хирург в операционной обнаруживает дефект титанового винта, он мгновенно отправляет флаг-уведомление в единую систему. Это запускает цепочку отзывных кампаний, полностью аналогичную отзывам бракованных автомобилей автоконцернами.
В завершение дискуссии Шантану Нунди обратился к технологическому сообществу с призывом принять активное участие в открытом Запросе информации (Request for Information, RFI), который FDA опубликовало для сбора лучших практик по мониторингу ИИ. Эксперты подчеркнули, что создание безопасной экосистемы медицинского искусственного интеллекта — это важнейшая задача в области государственной политики здравоохранения текущего столетия.
