[News] Google’s medical AI was super accurate in a lab. Real life was a different story.

Yannic Kilcher 6,6 тыс. 12 мин 3 мин 10.05.2020

В лабораторных условиях медицинский искусственный интеллект от Google показывал феноменальную точность в диагностике заболеваний глаз. Однако реальное внедрение системы в клиниках Таиланда столкнулось с неожиданными препятствиями, обнажив глубокий разрыв между «стерильными» тестами и суровой практикой здравоохранения.

🏥 Спасение от слепоты: амбициозный проект Google в Таиланде 0:00

Проект Google был направлен на борьбу с диабетической ретинопатией — опасным осложнением диабета, при котором повреждаются мелкие сосуды сетчатки. Если болезнь не обнаружить на ранней стадии, пациент может полностью ослепнуть. Проблема Таиланда заключалась в катастрофической нехватке специалистов: на 4,5 миллиона больных диабетом приходилось всего 200 экспертов, способных квалифицированно расшифровать снимки глазного дна.

[Image of diabetic retinopathy]

Министерство здравоохранения Таиланда поставило цель проверять 60% пациентов ежегодно, и ИИ от Google казался идеальным решением. Разработанный алгоритм демонстрировал точность более 90%, что соответствует уровню опытного врача, и выдавал результат менее чем за 10 минут.

📉 Лабораторный триумф против реальности: почему система начала давать сбои 2:32

Проблемы начались, когда систему передали в руки обычных медсестер в региональных клиниках. В отличие от идеальных лабораторных датасетов, реальные условия эксплуатации оказались далеки от совершенства:

Янник Кильхер подчеркивает, что при разработке систем для реального мира необходимо учитывать фактор «шума» и несовершенства входных данных, а не просто тренировать модели на вылизанных наборах данных.

⚖️ Страх перед ответственностью: архитектурные ошибки Google 4:18

По мнению Янника Кильхера, ключевая проблема дизайна системы Google заключалась в попытке компании избежать юридической ответственности. Вместо того чтобы выдать вероятностный прогноз (например, «я уверен на 60%, что болезни нет»), ИИ просто блокировал результат, если разрыв в уверенности между позитивным и негативным классом был недостаточно велик.

[Image of neural network uncertainty visualization]

Янник Кильхер утверждает, что такой подход делает ИИ «враждебным» к человеку. Вместо того чтобы помогать медсестрам, система заставляла их тратить время на бесконечные пересъемки и ретушь фотографий, которые сами медсестры считали вполне пригодными для диагностики. Кильхер предлагает альтернативный путь:

  1. Вывод оценки неуверенности: Система должна показывать свои сомнения и «доверительные интервалы».
  2. Сотрудничество, а не замена: ИИ должен предоставлять всю имеющуюся информацию человеку, позволяя медсестре или врачу принять окончательное решение на основе их опыта.

🌐 Облачные технологии против медленного интернета 8:24

Техническая реализация также столкнулась с инфраструктурными барьерами. Google настаивал на обработке изображений в облаке, что требовало стабильного и быстрого интернет-соединения. В сельских клиниках Таиланда это стало «бутылочным горлышком».

По словам ведущего, пациенты жаловались, что из-за медленной загрузки данных за первые два часа приема удавалось осмотреть всего 10 человек. Кильхер иронично замечает, что крупным корпорациям удобнее хранить всё на своих серверах, хотя установка локального GPU-сервера в самой клинике была бы гораздо эффективнее и с точки зрения скорости, и с точки зрения приватности данных.

🤝 Будущее ИИ в медицине: мнение экспертов 9:29

Майкл Абрамов, врач и специалист по компьютерным наукам, который годами разрабатывает аналогичные системы, отмечает, что здравоохранение — это не только алгоритмы. Он критикует саму идею простого сравнения точности ИИ и врача. Абрамов считает, что: