# Проблема генерализации и надежности нейросетей

Источник: https://www.youtube.com/watch?v=tjD9LIzIIek
Канал: MIT OpenCourseWare
Опубликовано: 11.02.2026

---

## Обобщающая способность моделей: проблема Out-of-Distribution (OOD)
[[JUMP:0:00]]

Обобщающая способность современных моделей машинного обучения на данных, выходящих за рамки обучающей выборки, остается одной из самых серьезных нерешенных проблем в области искусственного интеллекта. Хотя нейросети достигли впечатляющих результатов в классификации изображений, генерации контента и стратегических играх, их применение в реальном мире часто сталкивается с критическими ограничениями. Проблема заключается в том, что теоретическое допущение о независимой и одинаковой распределенности данных (IID — Independently and Identically Distributed) практически никогда не выполняется в условиях реальной эксплуатации, где данные постоянно меняются.

### ⚖️ Хрупкость моделей и реальный мир
[[JUMP:1:38]]

Основной барьер для повсеместного внедрения ИИ, например, в беспилотные автомобили или медицину — это отсутствие гарантий надежности. По мнению Сары Бири, многие успешные примеры внедрения ИИ сегодня — это системы с обязательной проверкой человеком (Human-in-the-loop), где ошибки ИИ корректируются экспертами.

*   **Риски внедрения:** Без контроля человека даже небольшие ошибки моделей могут привести к серьезным последствиям.
*   **Конфликт исследований:** В медицине существуют противоречивые данные: одни исследования подтверждают эффективность систем поддержки принятия решений, другие — вред для пациентов из-за самоуспокоенности врачей, которые перестают критически оценивать рекомендации алгоритмов.
*   **Проблема «сокращений» (shortcuts):** Модели склонны искать простейшие корреляции в обучающих данных, которые работают на тестовой выборке, но теряют смысл при малейшем изменении условий (например, когда модель «учится» определять болезнь не по признакам патологии, а по наличию линейки на снимке).

### 🛡️ Состязательные атаки и устойчивость
[[JUMP:13:38]]

Одной из главных тем является уязвимость нейросетей к состязательным (adversarial) примерам — специально созданным минимальным искажениям данных, которые заставляют модель ошибаться с высокой уверенностью, оставаясь при этом невидимыми для человеческого глаза.

1.  **Примеры атак:** Изменение текстуры 3D-объекта (черепахи) может заставить классификатор уверенно называть его «винтовкой».
2.  **Защита:** Для борьбы с этим применяется состязательное обучение (adversarial training) — метод, при котором модель принудительно обучают на самых «трудных» примерах.
3.  **Ограничения:** Несмотря на прогресс, это направление остается крайне затратным вычислительно и не дает универсальных решений для всех типов угроз.

### 🌐 Проблема сдвига распределений (Distribution Shift)
[[JUMP:43:38]]

Даже без злонамеренных атак модели сталкиваются со сдвигом распределений — изменением характеристик данных при переходе от обучения к эксплуатации. Это может проявляться через:

*   **Геопространственные сдвиги:** Использование данных из одной страны для модели в другой.
*   **Сенсорные сдвиги:** Обновление оборудования (камер) в системе сбора данных.
*   **Subpopulation shift:** Неравномерное распределение категорий, когда модель игнорирует миноритарные подгруппы данных.

Для борьбы с этим используются методы распределенно-устойчивой оптимизации (Distributionally Robust Optimization, DRO), которые пытаются максимизировать устойчивость модели к наихудшим сценариям сдвига. Однако, как отмечает Сара Бири, на практике часто оказывается эффективнее просто собрать более качественные, репрезентативные данные, отражающие реальный тестовый домен, чем пытаться алгоритмически компенсировать нехватку данных.