Обобщающая способность моделей: проблема Out-of-Distribution (OOD) 0:00
Обобщающая способность современных моделей машинного обучения на данных, выходящих за рамки обучающей выборки, остается одной из самых серьезных нерешенных проблем в области искусственного интеллекта. Хотя нейросети достигли впечатляющих результатов в классификации изображений, генерации контента и стратегических играх, их применение в реальном мире часто сталкивается с критическими ограничениями. Проблема заключается в том, что теоретическое допущение о независимой и одинаковой распределенности данных (IID — Independently and Identically Distributed) практически никогда не выполняется в условиях реальной эксплуатации, где данные постоянно меняются.
⚖️ Хрупкость моделей и реальный мир 1:38
Основной барьер для повсеместного внедрения ИИ, например, в беспилотные автомобили или медицину — это отсутствие гарантий надежности. По мнению Сары Бири, многие успешные примеры внедрения ИИ сегодня — это системы с обязательной проверкой человеком (Human-in-the-loop), где ошибки ИИ корректируются экспертами.
- Риски внедрения: Без контроля человека даже небольшие ошибки моделей могут привести к серьезным последствиям.
- Конфликт исследований: В медицине существуют противоречивые данные: одни исследования подтверждают эффективность систем поддержки принятия решений, другие — вред для пациентов из-за самоуспокоенности врачей, которые перестают критически оценивать рекомендации алгоритмов.
- Проблема «сокращений» (shortcuts): Модели склонны искать простейшие корреляции в обучающих данных, которые работают на тестовой выборке, но теряют смысл при малейшем изменении условий (например, когда модель «учится» определять болезнь не по признакам патологии, а по наличию линейки на снимке).
🛡️ Состязательные атаки и устойчивость 13:38
Одной из главных тем является уязвимость нейросетей к состязательным (adversarial) примерам — специально созданным минимальным искажениям данных, которые заставляют модель ошибаться с высокой уверенностью, оставаясь при этом невидимыми для человеческого глаза.
- Примеры атак: Изменение текстуры 3D-объекта (черепахи) может заставить классификатор уверенно называть его «винтовкой».
- Защита: Для борьбы с этим применяется состязательное обучение (adversarial training) — метод, при котором модель принудительно обучают на самых «трудных» примерах.
- Ограничения: Несмотря на прогресс, это направление остается крайне затратным вычислительно и не дает универсальных решений для всех типов угроз.
🌐 Проблема сдвига распределений (Distribution Shift) 43:38
Даже без злонамеренных атак модели сталкиваются со сдвигом распределений — изменением характеристик данных при переходе от обучения к эксплуатации. Это может проявляться через:
- Геопространственные сдвиги: Использование данных из одной страны для модели в другой.
- Сенсорные сдвиги: Обновление оборудования (камер) в системе сбора данных.
- Subpopulation shift: Неравномерное распределение категорий, когда модель игнорирует миноритарные подгруппы данных.
Для борьбы с этим используются методы распределенно-устойчивой оптимизации (Distributionally Robust Optimization, DRO), которые пытаются максимизировать устойчивость модели к наихудшим сценариям сдвига. Однако, как отмечает Сара Бири, на практике часто оказывается эффективнее просто собрать более качественные, репрезентативные данные, отражающие реальный тестовый домен, чем пытаться алгоритмически компенсировать нехватку данных.
